AI 寒冬：炒作不是在退潮，而是在爆裂

作者：Filip Piekniewski 是計算機視覺和 AI 領域的專家，還是 Koh Young Technology 公司的首席 AI 科學家。

我上次撰寫的 AI 寒冬一文在網上迅速傳播開來，以至于我的 AWS 實例差點招架不住（該文的閱讀量遠超過了 10 萬人次）。（云頭條備注：國內媒體也紛紛翻譯刊發），該文引得許多業內人士在推文上轉載，在 hackernews 和 reddit 上引發了激烈討論。從這個經驗證據來看，有一點很清楚：至于 AI 寒冬是否近在眼前，這是一個非常敏感、發人深思的話題。該文好像使許多人深有觸動。

不管怎樣，我想在這篇后續文章中回應幾個觀點，并解釋幾個誤解。

炒作不是在退潮，而是在爆裂

首先，許多人在引用我寫的那篇文章時都提到了 AI 炒作在退潮。那根本不是我闡述的觀點。關于 AI 的炒作依然很熱烈。一些主要的“造勢者”已經變得更安靜了，但就像我在文中解釋的那樣，乍一看，一切依然看上去那么美。你要洞察造勢的背后，才能看清有沒有裂縫。如果炒作漸漸淡化，那實際上是好事。股市崩盤時，不是每個人都慢慢地開始承認：自己為股票付了過高的價錢，悄無聲息地打道回府。崩盤突如其來地發生，恐慌情緒猛地襲來，每個人都試圖拋售；而同時，同一些人大造聲勢，以便能夠找到接盤俠（即所謂的拉高出貨）。只有在做市商真正找不到買家、造市者找不到現金時才會宣布危機。所以炒作是一個滯后的指標（而且常常滯后嚴重）。我預測，AI 領域會是這種情況。自動駕駛汽車造成的每一次死亡事故都會將可能投資于 AI 的風險投資家（VC）的數量減少一半。對于悄然關閉的每一家 AI 初創公司來說也是如此。與此同時，那些已經投入巨資的公司會大造聲勢，而私底下試圖變現資產。只有市場上沒有人接盤――這時候種子輪資金早已花光，AI 寒冬才變得盡人皆知。

應用是關鍵，就是這么簡單！

認為 AI 寒冬并未到來的主要論點是，這一回，AI 切實帶來了利潤，而且有真正的應用。OK，是不乏應用。主要用于圖像搜索、語音識別，可能還有監視（即谷歌和 非死book 等）。出現了風格遷移（style transfer），無疑會讓 Photoshop 再次變得很出色。但這些至今都已有 3 個年頭了。我實際上參加了悉尼舉行的上一次國際機器學習大會（ICML）上的“深度學習應用”分會。說實話，那真是一次讓人索然寡味的分會。

現在談談對 AI 寒冬的影響，今天 AI 創造了多少收入實際上并不重要。重要的是人們投入了多少資金，因此他們期望將來獲得多大的回報。如果現實與這些預期不相符，那么就會出現寒冬。就這么回事。在這個周期中投入 AI 的資金數額非常巨大。而這些投入的重點領域是自動駕駛汽車；我所說的自動駕駛并不是指遠程控制或輔以安全駕駛員――只有自動駕駛汽車真正完全自主，這種技術才有經濟效益。巧合的是，這恰恰是我認為實現機會最小的一種應用。

可還有 Waymo！

但有讀者說還有 Waymo。是指 Waymo 在未明確的時間段內購買多達 60000 輛貨車嗎？那又怎么樣？優步在去年年底訂購了 200000 輛沃爾沃。我想知道這筆交易后來怎樣。但 Waymo 測試的是沒有安全駕駛員的自動駕駛汽車！是的，是在菲尼克斯城最安靜、最低速的路段，擁有良好的蜂窩信號接收功能，因而可以不間斷地遠程監控這些汽車。哦順便說一下，車輛速度限制在 25 英里/小時......長話短說：Waymo 甚至可能部署 100 萬輛用 LTE 監測的遠程控制汽車。這在自動駕駛汽車方面證明不了什么，因為這樣的部署會蒙受巨大的損失。很顯然，只要谷歌有錢，就會往這個領域砸錢，而谷歌不可能一直砸錢進去。谷歌自動駕駛汽車項目已存在了 10 年，我預計它會再運作 10 年。不過一旦它們研發的車撞死人，也就是項目結束之時。這就是為什么谷歌極其謹小慎微。

最近深度學習失敗的幾個例子

我的文章在 推ter 上引起強烈反響后，出現了幾篇頗引人關注的論文，另外幾篇引起了我的注意：

1. 《CIFAR-10 分類器是否可以泛化到 CIFAR-10？》（https://arxiv.org/abs/1806.00451）：一項研究表明，通過生成一個新的測試集，模型的整體性能會大幅下降。

這表明了眾所周知的數據窺視問題，這個問題不斷被忽略，而且被竭力掩蓋。長話短說：你的分類器要有一個無偏差的性能數字，你的測試數據就只能用一次。但是如果是這樣，每次你設計一個新的分類器，必須用新的數據來測試，你的結果就不再可重現！那是統計學范疇，里面涉及概率問題。你完全可以拿固定的預留測試集來測試你的模型，結果是百分之百可重現，但它們是有偏差的。你自個作選擇吧。

2. 《語義敵對例子》（https://arxiv.org/abs/1804.00499）：前一篇文章表明，即使拿仔細選擇以便酷似原始訓練分布的新樣本來進行測試，模型的穩健性也不是很好；所以，面對來自原始分布之外的樣本，機器學習不具有穩健性也就不足為奇。

3. 《為什么深度卷積網絡泛化到小圖像轉換如此糟糕？》（https://arxiv.org/abs/1805.12177）和《旋轉和轉換就足夠了：用簡單的轉換來愚弄 CNN》（https://arxiv.org/abs/1712.02779）：很顯然，深度網絡的轉換和旋轉不變性被稍稍高估了。實際上，你可以在我之前的（2016 年中期）那篇文章中看到一些報告的行為，我當時將一個 SOA 深度網絡運用于我用手機拍攝的幾段視頻。

4. 最后但并非最不重要的是：《愚弄深度神經網絡的單個像素攻擊》（https://arxiv.org/abs/1710.08864）。如果你認為未能略微轉換或旋轉或者色調變化已經夠糟糕了，那么你看到這種攻擊就不會這么認為了。調整一個像素就足夠了……

這些結合傳統的梯度衍生對抗例子（https://blog.piekniewski.info/2016/08/18/adversarial-red-flag/）完全表明了這些方法有多么脆弱。

我們離強大的認知還遠得很；在我看來，我們陷入了一種錯誤的范式，因此我們甚至沒有朝著正確的方向前進。

來自: mp.weixin.qq.com