深度學習:實際問題解決指南

jopen 9年前發布 | 18K 次閱讀 深度學習

深度學習擁有解決大部分機器學習和人工智能領域問題的潛力,可以用來解決諸如語音識別、三維物體識別和自然語言處理等領域的難題。本文介紹了深度學習在解決實際問題中存在的優勢與缺點。

當你想進行預測的時候,使用深度學習要比其他機器學習技術更快更有效。

深度學習是一門快速發展的學科,它將數據中高層次化的模式建模成復雜的多層網絡。因為這是建模一個問題最一般的方法,深度學習擁有這解決大部分機器學習和人工智能領域問題的潛力。類似微軟、谷歌這樣的公司使用深度學習來解決諸如語音識別,圖像識別,三維物體識別,和自然語言處理等領域的難題。

然而,深度學習需要進行大量的計算來構建一個有用的模型。到目前為止,計算成本和可用性限制了其實際應用。此外,研究人員缺乏理論基礎和將深度學習運用到實際問題之中的經驗知識。在有充足的時間和資源的情況下,其他的方法通常表現更好。

如今根據摩爾定律的發展,已經從根本上降低了計算成本。此外,創新算法提供了更快更有效訓練模型的方式。隨著經驗和知識的積累,數據科學家從深度學習獲得價值也有了更多的理論和實踐指導。

然而媒體傾向于報道語音和圖像識別這樣的未來應用,但是數據科學家使用深度學習來解決企業各個方面非常實際的問題。例如:

  • 支付系統提供商使用深度學習實時識別可疑交易。
  • 具有大型數據中心和計算機網絡的機構使用深度學習從日志中挖掘信息檢測威脅。
  • 汽車制造商和汽車運營商使用深度學習挖掘傳感器數據預測部分車輛故障。
  • 具有大型復雜供應鏈的公司使用深度學習預測延遲和生產瓶頸。
  • </ul>

    隨著深度學習軟件可用性的提高,你可以看到商業化應用在未來幾年會迅速增長。

    深度學習的強大力量

    相對于其他機器學習技術而言,深度學習有四大關鍵優勢:

    1. 它能從特征中檢測復雜的相互作用。
    2. 它能從幾乎沒有處理的原始數據中學習低層次的特征。
    3. 它能處理高基數類成員。
    4. 它能處理未標記的數據。
    5. </ol>

      綜上所述,擁有這四個優勢意味著深度學習可以得到有用的結果而其它方法得不到的有用結果;它能構建比使用其他方法更精確的模型;并且還能減少構建有用模型所需的時間。深度學習在變量間檢測相互作用,這些相互作用可能并不明顯。相互作用是兩個或多個變量組合在一起時產生的效果。比如,假設某種藥物在年輕婦女中會有副作用,但是在老年婦女中則沒有。一個由性別和年齡組合影響構建的預測模型效果要比單單使用性別影響構建的模型好。

      常規的預測建模方法可以度量這些影響,但這需要大量的手工假設檢驗。深度學習自動檢測這些相互作用,不會依賴于分析師的專業知識或前期假設。它還會自動創建非線性相互作用,并且可以使用足夠的神經元來逼近任意函數,特別是在使用了深度神經網絡的時候這種效果尤為明顯。

      使用常規的預測分析方法,結果的好壞很大程度上取決于數據科學家使用特征工程準備數據的能力,而這一個步驟需要相當多的專業知識和技能。而且特征工程也很耗時。深度學習幾乎不需要處理原始數據,并自動學習最有預測性的特征,而不需要對數據的正確分布做假設

      下圖說明了深度學習的強大能力。這四幅圖展示了不同技術是如何對復雜模式建模的。右下角的圖,展示了一般線性模型如何用直線擬合數據。基于樹的方法,例如隨機森林和梯度提升機(分別是左下角和右上角的圖)比一般線性模型更好。這些方法通過多條直線而不是一條直線來擬合數據,顯著提高了模型的“擬合”性。左上角的圖中,深度學習使用復雜曲線擬合數據,得到了精準的模型。

      深度學習可以很好地處理數據科學家口中的高基數類成員,這是一種具有非常多離散值的數據類型。這類型問題的現實例子有語音識別,這段語音可能對應大量候選詞里的某一個;圖像識別,特定的圖像對應大量圖像的某一張;推薦引擎,最佳推薦項可能是諸多候選項之一。

      深度學習的另一個強項就是可以從未標記的數據中學習。未標記的數據缺少與當前問題相關的明確“意義”。常見的例子有未標記的圖像,視頻,新聞報道,推文和電腦日志。事實上,如今信息經濟產生的大多數據都是未標記的。深度學習可以在這類數據中檢測基本模式,歸類相似條目或者識別異常值。

      深度學習的缺點

      然而,深度學習也有一些缺點。相對于其他機器學習方法,使用深度學習生成的模型非常難以解釋。這些模型可能有許多層和上千個節點;單獨解釋每一個是不可能的。數據科學家通過度量它們的預測結果來評估深度學習模型,但模型架構本身是個“黑盒”。

      評論家有時候對深度學習的這方面特性持反對態度,但牢記分析的目的是重要的。例如,如果分析的主要目的是解釋方差或者處理結果,選擇深度學習可能是錯誤的。然而,也可以根據其重要性對預測變量排序,這也是數據科學家經常要實現的。部分依賴圖可以為數據科學家提供可視化深度學習模型的功能。

      深度學習同樣也有其他機器學習方法的傾向,對訓練數據過度學習。這意味著算法“記住了”訓練數據的特征,在模型將要使用的生產環境中,這些被記住的特征可能會也可能不會被用到。這一問題并不只出現在深度學習之中,這可以通過獨立驗證來避免。

      由于深度學習模型很復雜,它們需要大量的計算性能來構建。雖然計算成本已經大幅下降,但是計算仍舊不是免費的。對于小數據集的簡單問題,在計算開銷和時間相同的情況下,深度學習可能不會比更簡單方法產生足夠的額外效果。

      復雜性同樣是部署的一個潛在問題。NetFlix從來沒有部署那個贏得了100萬美元獎勵的模型,因為工程成本太高了。在測試數據上表現良好但無法落實的預測模型是沒有實際用途的。

      深度學習并不是新鮮的技術,原始的深度學習技術早在上世紀50年代就出現了。但是隨著計算成本的下降,數據量的提升,技術的進步,業界對深度學習的興趣激增。無需專業知識,費時的特征工程,甚至大量的數據準備,深度學習可以發現大量數據集中隱藏的關系,它已經成為一種解決日益增長業務問題的引人注目的方法。

      作者簡介:SriSatish Ambati是H2O.ai的聯合創始人及CEO。

      原文鏈接: Deep learning: A brief guide for practical problem solvers(譯者/劉翔宇 審校/趙屹華、朱正貴 責編/周建丁 原創/翻譯投稿請聯系:zhoujd@csdn.net,微信號:jianding_zhou) 

      關于譯者:  劉翔宇,中通軟開發工程師,關注機器學習、神經網絡、模式識別。

      來自:http://www.csdn.net/article/2015-11-14/2826211

      </div>

       本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
       轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
       本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!