機器算法越來越復雜，我們還能理解它們嗎？

機器和運行其上的算法在不斷地演進并日趨復雜，而挑戰也隨之而來：我們正逐漸失去對復雜算法工作模式的理解能力，也更難發現它們的薄弱環節，更難預估它們的意外行為。要知道，1969年將人類送上月球的代碼也不過145000行，而到2015年，光是谷歌部署的代碼就超過了20億行！現在的系統已經進化成了互聯系統的迷宮。

然而這些系統本身是按照是開發者的想法和商業需求打造的，所以它們也受到了人類理解的限制。即使今天最復雜的算法和人工智能「深度學習」系統也會受到人類想象力的限制，它們只能正確處理那些開發者所設定的輸入，以及進行它們能夠控制的輸出。

讓我們再回過頭來想一想阿波羅13號登月任務。災難發生后人類得到了教訓，了解到自己前瞻性思維的限制會對機器的能力帶來毀滅性的影響。在阿波羅13號任務過程中，設計氧氣管的工程師知道當罐中的溫度達到80℉時應該關閉罐中的加熱單元，所以他們在罐中設計了最大讀數為80℉的報警傳感器。而當一個預檢錯誤導致其中一個氧氣罐溫度達到1000℉時，電子監控和報警系統沒能察覺這種嚴重異常的情況，反饋的讀數也只有設計的安全的最大值80℉。

本質上講，因為人類工程師沒有預料到溫度超過安全限制的情況，于是他們設計了這些帶有最大值的計算機傳感器，讓計算機沒辦法在這種危險情況下完成自己的工作。而后續工作的工程師則并不清楚這些關鍵的限制，還以為這些傳感器能在危險狀況下發出警告。

類似的事情不斷發生，去年沃爾沃一輛帶有自動駕駛輔助功能的汽車沖向了一群記者，最后發現事故原因是這款沃爾沃汽車上配置了一個防止汽車撞到其它汽車的標準安全功能，但要避免該汽車撞到行人還需要購買額外的模塊；而發生事故的汽車并沒有配置這一額外模塊。更糟糕的是，就算安裝了這一模塊，當司機在控制汽車時這一模塊也會被自動禁用。一位作家對此諷刺地說：「保護汽車安全是標準功能，但保護行人安全卻不是。」

事實上這一功能并不復雜：當可能撞到行人時，汽車自動剎車；但沃爾沃卻將這一「簡單」功能作為附加選擇額外銷售，而且還在駕駛過程中自動禁用。司機和行人卻并不知情，最終釀成了意外。

現在的系統已經變得十分復雜，即使最小的錯誤也可能會引發巨大的連鎖反應，甚至導致嚴重的后果。

2013年，微軟的Azure服務曾因為一個簡單的過期SSL證書而面臨中斷服務的危險；而之前的2012年，該服務就曾因為閏日導致的兩個云系統信息傳遞失誤而中斷過。亞馬遜也在2013年發現任何開發者都能利用某個漏洞給數據中心帶來圣誕購物旺季般的影響。兩個月前，當歐洲的一個谷歌工作人員跳過自動安全檢查，通過手動方式連接一個新的網絡鏈接時，谷歌也遭遇了一次服務中斷。2014年有一次，中國政府在使用防火墻屏蔽一家懷俄明州的小公司的網站時，卻意外地將全國大部分互聯網流量都重定向到了這個網站。以上的每一個案例中，機器都在執行人類的錯誤指令。甚至股票市場也曾有過類似的遭遇，2014年就出現了一個筆誤導致的訂購6170億美元股票的意外事件。

隨著系統復雜度的增長，它們的弱點也越來越多。比如瞻博（Juniper）網絡公司遭遇數據泄露的原因就是因為攻擊者在其龐大的代碼庫中嵌入了嚴重的漏洞，然后悄悄竊取數據很多年。另外，去年還有一位安全研究人員宣稱能使用自制的飛機控制系統控制商用客機上的娛樂系統，甚至還能進一步完全控制飛機的駕駛系統。此外還有2011年曝光的一個非死book身份認證層的漏洞讓攻擊者可以下載馬克·扎克伯格的私人照片。

2014年，一位研究人員發現歐洲的芯片信用卡終端不加選擇地信任插在其上的卡中的軟件，人們可以借此記錄和傳輸這臺終端所掃描過的所有卡的信息，甚至可以用它來玩Flappy Birds游戲。另外，世界上許多蜂窩網絡和電話系統也都存在這種不加選擇信任的問題；只要有合適的監控套件，任何個人都可能被追蹤。甚至911報警系統的基礎設施也正變得越來越脆弱。

所有這些系統都建立在完全信任另一些系統的基礎上，任何層次的出錯和漏洞都可能波及整個系統。加上現代系統通常又是由多個組成部分構成的，其中一些是可選的或可以在一定時候停用的，再伴隨著人類在設計這些系統時的錯誤假設和人類想象力的限制，系統的意外行為和漏洞就出現了。

然而，這些復雜性和意外行為也可能成為深度學習革命的重要推動力。

回到阿波羅13號的例子，過去人類設計師和工程師必須手動打造復雜系統中算法的每一個元素，并自己預測每一個可能的場景。這意味著即使機器學習算法在不斷演進，它們依然受到了人類程序開發者的想象力的限制；因為人類還需要提供特定的輸入，并對特定輸出的選擇來對系統進行訓練和測試。

而卷積神經網絡等技術的崛起則可能意味著機器走出了消除人類影響的第一步；在新技術下，對一個特定的分類問題，機器將可以自己決定輸入數據的哪些特性和特征是重要的。谷歌去年就憑借其Deep Dream平臺的算法可視化賺足了眼球，我們也看到了算法眼中的世界以及它們所做的選擇。

人工智能和算法對人類世界的作用和重要性必將越來越大，我們必須要更好地了解它們的工作機制以及它們為我們塑造的未來。

來自 forbes ，作者 Kalev Leetaru ，機器之心編譯出品。編譯：吳攀。