看 Nervana 如何利用深度學習實現數據革命

2016 年 8 月，英特爾為了加強其人工智能領域的能力，以 4 億美元的天價收購了機器學習初創公司 Nervana 。該初創公司成立僅僅兩年，卻被公認為是機器學習技術開發的領導者。近日， Nervana 的聯合創始人兼首席執行官 Naveen Rao 博士在 StrataHadoop 上和大家深入探討了深度學習的話題，通過其PPT，我們也能了解Nervana價值所在。

Naveen 探索了許多方面，包括深度學習相對于其他機器學習技術的好處、該領域的最新進展、深入學習工作流程、開發和部署深度學習解決方案的挑戰、用于構建和擴展深度學習解決方案的標準化的工具等等。

不同于大家以往的認知，深度學習究竟是什么呢？這是一種模仿人腦機制分析數據的機器學習方法，從多層抽象中抓取特征。我們認為真正重要的是從數據中提取有用的信息，并通過統計信息作出判斷。 我們擁有數據科學領域內的權威專家，通過龐大的數據量提高學習性能，最終獲得高度具象化的能力。

這種能力是非常強大的，類似于過去二十到二十五年間計算機對于人類的意義。在短短的兩年內，深度學習這種新方法就被廣泛地應用于工業中了，包括通信、語音處理、圖像識別以及視頻處理等等，其中大量的數據都可以被人們利用，所以我認為未來的前景是非常光明的。

深度學習的模型有很多，但基本結構都各不相同，可能會導致這些模型具有不同的特性。這里我很快和大家一起回顧一下這些常見的深度模型。

左上角的模型是目前最常用的卷積神經網絡（CNN）模型，非常適用于視覺系統和圖像分析。 右上角的模型是復發性神經網絡（RNN）則適用于各種基于時間或序列的建模。金融系統和語言模型通常使用 RNN。 其他 非主流的 方法還有很多，比如下方的這三種：堆疊自動編碼器，多層感知器（MLP）和深信度網絡（DBN）。 未來五年的很多創新將來自堆疊自動編碼器領域，但目前我們還不知道要如何開始選取目標。

這里我們可以看到一些真實的實驗結果，這個系統通過抽象化實體，提取出豐富的代表性特征，這才是我們真正的力量來源，并且其抗干擾能力很好，無法被輕易改變。

這個的意義在于，可以自動處理以往需要人工完成的任務。我們也做了一些測試，讓大家可以看到其性能。目前，訓練有素的人類通常錯誤率為 5%，而深度學習在圖像和語音任務中的錯誤率僅為 3%。因此，我們相信幾年后，深度學習在這兩方面的能力甚至會遠遠超越人類。

這是一個深度信用網絡，我們看下是如何利用它來解決數據問題。這個系統有兩種使用方式：第一種是我們可以輸入一些數字對應的手寫樣式，系統可以利用這些數據樣本判斷出是哪個對應數字；第二種是我們給定某個數字，系統可以模擬出其對應的各種可能的手寫樣式。

比如這里，系統根據一系列“5”的手寫體判斷出這是數字“5”。

再比如這里，當我們輸入數字“0”，系統經過一系列手寫體樣式處理，會實時地顯示各種形態各異的“0”，但毫無疑問，從視覺上大家還是可以判斷出這是數字“0”。

這是非常有趣的一件事，這意味著我們可以輸入一系列實例，從中抽象出具體的共同特征。

這個深度學習平臺實現了針對行為探測的 3D 卷積模型，基于 100 種類別、1 萬 3 千多個視頻的公共數據集，使訓練速度比競爭對手的框架快了大約 3 倍。同時，該平臺也能擴展到其他場景、對象的識別，行為相似度平行對比，視頻檢索和異常檢測。

其潛在應用包括：在機場或地鐵站等乘客密集的場所實施安全監控、交通管制及車輛管理、航空管制偵測、基于面部識別和圖像處理的安全系統檢索功能、自動駕駛的感知和防撞系統、公共場所的行李檢測等等。

語音可以看做是一個個單詞的隨機組合，所以要將語音轉變為文字是很困難的。但是，經過大量的訓練，系統也可以識別出大部分的單詞。深度學習在語音-文本轉換中的表現同樣令人印象深刻，諸如百度等等公司的自然語言處理技術已經非常成熟，可以根據需要轉換成任何一種語言文字，這就如同魔法一樣神奇。

如同歷史發展的必然規律，當達到某個拐點后會突然爆發，現在就處于數據科學的拐點處，利用深度學習實現對數據的最大化利用。

CPU 的訓練時間是單個 GPU 的三十多倍。

數據并行是最常用的方式之一，每個處理器中都有一個全深度網絡，將各個數據容器中的參數統一協調至參數服務器中。但是這并不是最好的方式。

一個更好的方式是模型并行計算，如圖所示。

Nervana 的另一個優勢在于 I/O 范圍。通常處理器越多，深度學習的速度就越快。但是普通的工業系統隨著處理器數目的增多，學習速度會達到某個極限值而不再增加。而 Nervana 平臺不光能提高單個處理器的學習速度，而且還沒有學習速度的上限，可以根據需要不斷增加處理器個數。

我們仍在繼續努力研發新的技術，力爭明年能將現有速度提升十倍以上。

Nervana 平臺是一個全棧式解決方案，基于 Nervana 深度學習框架平臺和 Nervana 云，實現輸入、構造、訓練和部署。

深度學習作為 Nervana 的核心競爭力，已經圍繞其構建了圖像分類、目標定位、視頻檢索、文本分析、機器翻譯等功能。

Nervana 擁有最快的深度學習庫。

Nervana 的 Python 深度學習庫界面友好，可擴展性強，支持多種深度學習模型，并且提供連接 Nervana 云的接口，還支持多后臺（包括Nervana 引擎、 GPU 和 CPU）。

這是系統的網絡界面，Nervana 為用戶提供了大量可以直接調用的 API。

深度學習的作用在于建立一個發現數據中有用信息的框架，但要使這個框架平臺運行速度更快、處理規模更大、解決方案涵蓋面更廣，仍然有很多困難。

Nervana 目前擁有最先進的深度學習平臺，非常便于利用開發出的相關工具，從復雜關系中抽象出有代表性的目標特征。除了之前提過的各種應用外，還 可以用于快速定位石油井、天然氣田，以及農業精細化運營等。

 

 

來自：http://www.leiphone.com/news/201609/EBEJ7AZK60NnSh0c.html