如何看待深度學習？

近來，深度學習成為一個流行詞。有分析師認為，它會削弱現有機器學習方法的地位。實際上，深度學習并不是一個新概念，它是上世紀90年代就已經出現的 人工神經網絡（ANN） 算法的一種擴展。由于ANN需要極大的數據集用于訓練，所以被邊緣化了。深度學習算法為ANN帶來了新生，它會訓練多層ANN，而所需的數據比先前的預期要少。近日，數據科學家Anubhav Srivastava 撰文分享 了一些有關深度學習的看法。

深度學習可以更好地通過增加數據集的規模來改善學習結果，這是人們需要這種算法的原因。在實際的解決方案中，深度學習更適合于未標記數據，而這超出了自然語言處理的范疇，后者更多限于實體識別。與傳統的機器學習工具相比，深度學習挖掘了神經網絡的潛力。基于強大的特征提取，它比其他工具更適合模式識別（圖像、文本、音頻）。

但是，深度學習并不會取代其他所有的機器學習算法。對于許多應用而言，一些簡單點的算法（如邏輯回歸、支持向量機）就已經足夠。支持者之所以為深度學習而興奮，一個基本的原因是，它是一種不同于線性或內核模型的元算法。這意味著，深度學習沒有任何損失函數的特性，而且不受特定的公式限制，可以為科學家提供更大的靈活性。

有分析師認為，深度學習是最像大腦的算法，但Anubhav認為這種觀點有些片面，并以 Numenta 為例進行了進一步的闡述。Numenta“皮質（cortical）”算法基于 分級時序記憶（HTM） 模型，而后者是在“ 稀疏分布記憶（sparse distributed memory） ”概念的基礎上發展而來，那是一種學習人類長期記憶的數學模型。皮質算法既可以從空間維度，也可以從時間維度進行特征提取，使它更像是大腦的仿制品。

有鑒于此，Anubhav認為，目前圍繞深度學習和Numenta的一些爭論不甚合理。有種觀點是，Numenta HTM適合無監督學習，并將此視為其相對于深度學習算法的一個重大優勢。還有一種觀點是，Numenta可以視為一種時間-內存需求更小的 在線學習 算法。Anubhav指出，有一個很重要的事實被忽略了，就是深度學習是一個多層模型。在多數情況下，神經網絡模型一次只能求解一種問題類型，面對多種問題類型時，就需要使用混合模型。在這方面，深度學習算法的多層模型是一個巨大的優勢，即使Numenta也無法與其相比。