深度學習三巨頭：AI需要新硬件，萬億突觸神經網絡或成可能
圖靈 TOPIA，作者：安然
近日，在第 34 屆 AAAI 年度人工智能大會的新聞發布會上，來自多倫多大學的教授 Geoffrey Hinton、非死book 的 Yann LeCun 以及和蒙特利爾 MILA 人工智能研究所的 Yoshua Bengio 進行了一場討論，話題包括人工智能倫理以及“常識”在人工智能中可能意味著什么，以及未來的深度學習神經網絡的發展方向。
Hinton 和 Yann LeCun 以及 Yoshua Bengio 在深度學習領域有很高的造詣，被譽為“深度學習三巨頭”。
他們表示，新型的硬件可以加速神經網絡的訓練和推理，可以產生更大的模型，也許有一天會使萬億突觸神經網絡成為可能，同樣重要的是即將到來的機器人革命。
在硬件方面，Hinton 進一步解釋了限制當今神經網絡的技術方面。例如，他指出，神經網絡的權值必須使用數百次，并對權值進行頻繁的更新。他說，圖形處理單元(GPU)的內存有限，必須不斷地在外部 DRAM 中存儲和檢索，這是一個限制因素。
更大的芯片內存儲容量“將有助于像 Transformer 這樣的軟注意力，”Hinton 說，他指的是在 2017 年谷歌大會上開發的廣受歡迎的自回歸神經網絡。他說，使用“鍵/值”對來存儲和從內存中檢索數據的變壓器，如果使用具有大量內嵌內存的芯片，可能會大得多。
LeCun 和 Bengio 對此表示贊同，LeCun 指出 GPU“迫使我們進行批處理”，即數據樣本在經過神經網絡時分組，“這是低效的”。另一個問題是 GPU 假定神經網絡是由矩陣產品構成的，這迫使科學家限制了可以構建到此類網絡中的轉換類型。
Bengio 表示：“還有稀疏計算，在 GPU 上運行不方便……在這種情況下，大多數數據，比如像素值，可能是空的，只有很少的有效位需要處理。
LeCun 預測，新的硬件將導致“更大的神經網絡與稀疏激活”，他和 Bengio 都強調，在消耗更少的能量下做同樣數量的工作更有興趣的。
然而，LeCun 為人工智能辯護，反駁它是一個能源消耗大戶的說法。他說，非死book 每年每個用戶消耗的能源是 1500 瓦，這與其他消耗能源的技術相比，這并不算多。 LeCun 表示，硬件最大的問題是在訓練方面，它是 Nvidia GPU 和谷歌 TPU 的雙頭壟斷，這重復了他去年在國際固態電路會議上提出的觀點。
LeCun 說，比用于訓練的硬件更有趣的是用于推理的硬件設計。LeCun 重申了一年前發表的一份聲明，稱 非死book 正在為人工智能開發各種內部硬件項目，包括推理，但他拒絕透露細節。
Hinton 指出，當今的神經網絡很小，而真正的大神經網絡可能只有一百億個參數。
硬件方面的進步可能會通過制造更大的網絡，增加更多的權重來推動 AI 的發展。
他說：“大腦的一立方厘米內有一萬億個突觸。” “如果有通用人工智能之類的東西，它可能需要一萬億個突觸。”
至于機器中的“常識”是什么樣子的，沒有人真正知道，Bengio 說。
Hinton 抱怨說，人們一直在改變目標，比如使用自然語言模型。“我們終于做到了，然后他們說這并不是真正的理解。他說:“現在我們在這方面做得很好，他們想找些別的東西來評判機器學習。”“這就像試圖與一個有宗教信仰的人爭論，你不可能贏。”
但是，一位記者問道，公眾關心的與其說是缺乏人類理解的證據，不如說是缺乏機器以一種陌生的方式運行的證據，比如“對抗性的例子”。Hinton 回答說，對抗性的例子表明分類器的行為還不是很正確。他說：“雖然我們能夠正確地對事物進行分類，但網絡這么做的理由絕對是錯誤的。”“相反的例子向我們表明，機器正在以與我們不同的方式做事。”
LeCun 指出，動物也會像機器一樣被愚弄。他若有所思地說：“你可以設計一個適合人類的測試，但不適合其他生物。” Hinton 表示同意，他說:“家貓也有同樣的局限。”
此外，LeCun、Hinton、Bengio 也是著名的圖靈獎的獲得者。
三人一致認為，對人工智能來說，另一個可能被證明是巨大進步的東西是機器人。Hinton 說：“我們正處于一場革命的開端，這將是一個大問題”。許多應用程序，如視覺。他說，機器人不是分析一個靜態圖像或視頻幀的全部內容，而是創建一個新的“感知模型”。
他解釋說：“你要先看一個地方，然后再看另一個地方，所以現在就變成了一個涉及注意力活動的連續過程。” Hinton 預測，去年 OpenAI 在操縱魔方方面的工作，是機器人技術的一個分水嶺，或者更確切地說，是“AlphaGo 時刻”。
LeCun 對此表示贊同，他說 非死book 運行人工智能項目并不是因為 非死book 本身對機器人有著極大的興趣，而是因為它被視為“人工智能研究進步的重要基礎”。
這三位科學家對某些觀點表示懷疑，雖然大多數有關深度學習的研究都是公開進行的，但一些公司在吹噓人工智能的同時對細節保密。
“它之所以被隱藏起來，是因為它讓人們覺得它很重要，”Bengio 說，而實際上，許多深入公司的工作可能并不具有開創性。“有時候，公司會讓它看起來比實際復雜得多。”
Bengio 繼續在三大角色中繼續扮演自己的角色，他在 AI 的社會問題上直言不諱，例如建立道德體系。
當 LeCun 被問及面部識別算法的使用時，他指出，技術可以用于好的和壞的目的，這在很大程度上取決于社會的民主制度。但是 Bengio 稍微反駁說：“Yann 說的顯然是真的，但是杰出的科學家有責任說出來。”LeCun 若有所思地說，“為社會做決定”并不是科學的工作，這促使 Bengio 做出回應，“我不是在說要做決定，我是說我們應該參與進來，因為一些國家的政府對這種參與是開放的。”
Hinton 經常用幽默的旁白來強調事情，在會議快結束時，他指出了自己在 Nvidia 問題上的最大錯誤。“2009 年，我在 Nvidia 身上犯了一個大錯誤，”他說。“2009 年，我告訴 1000 名研究生，他們應該去購買 Nvidia GPU，以加速他們的神經網絡。我打電話給 Nvidia，說我剛向 1000 名研究人員推薦了你們的 GPU，你能給我一個免費的嗎?他們說不行。
“如果我真的聰明的話，我應該做的是把我所有的積蓄都投入 Nvidia 的股票。當時股價是 20 美元，現在大概是 250 美元。”