AI算法與道德規則如何平衡？IBM推出AI推薦技術

近兩年，以今日頭條為代表的信息推薦引擎大火，根據用戶的閱讀行為，AI 算法可以精準地把握用戶喜好，為用戶推薦他們愛看的內容。這樣，信息推薦引擎不斷給用戶推薦用戶喜歡的內容，用戶花在應用內的時間就會越來越多。 

但是，這似乎是公司想要得到的結果，卻并不一定完全有利于用戶。通常來說，我們想要看到的、喜歡看到的內容，并不一定是我們應該看到的、需要看到的。這也是今日頭條等依靠算法進行內容分發的公司面臨的一大困境：如何平衡在以點擊率高的內容獲得用戶的注意力和時間的同時，給用戶提供高質量、有價值的內容。

為了解決這一難題，IBM 的研究員和麻省理工媒介實驗室（MIT Media Lab）發展出了一種 AI 推薦技術，能夠兼顧用戶的喜好，同時也不會打破任何行為、道德準則。IBM 團隊已經論證了這種 AI 推薦技術，他們首先將其運用在了電影推薦系統，其可以允許家長為孩子設置一些內容限制。

此前，已有不少人將道德規則與 AI 算法相結合的嘗試，但是它們主要是基于靜態規則。例如，用戶可以指定算法避免推薦特定類別的新聞。雖然這種方法可以在某些環境中使用，但它有其局限性。

IBM 研究員 Nicholas Mattei 說，“定義明確的規則集很容易” ，“但是在數據量龐大的互聯網上，你沒法窮盡所有的規則，好讓機器去一一遵循”。

為了解決這個問題，Mattei 和他的同事開發的方法使用機器學習從實例中定義規則。 Mattei 說，“我們認為，通過實例學習什么是合適的，然后轉移這種理解，同時仍然對在線獎勵反應是一個非常有趣的技術問題”。

從案例中學習道德規則

研究人員選擇電影推薦來作為 demo，主要有兩個原因：首先，我們已經有相當多的電影相關數據，其次，在電影領域，用戶偏好和道德規范之間的差異清晰可見。例如，父母不希望孩子觀看一些內容，而孩子卻對這些內容表現得很積極，算法很容易學習到這種積極的行為。

AI 推薦技術有兩個不同的訓練階段。第一階段是離線的，這意味著它發生在系統開始與最終用戶交互之前。在此階段，仲裁者給系統一些案例來定義推薦引擎應應該遵守的約束。然后，AI 會檢查這些案例以及與它們相關的數據，以創建自己的道德規則。與所有機器學習系統一樣，提供給系統的案例越多，數據越多，創建規則的效果就越好。在電影推薦這個 demo 中，在離線訓練階段，父母向 AI 提供一組適當和不適當內容的示例。Mattei 說，“系統應該能夠從這些例子中學習，并使用這些例子，在孩子觀看內容時，避免推薦某些類型的內容。”

第二個數據訓練階段發生在線上，與最終用戶直接互動。與傳統的推薦系統一樣，AI 試圖學習用戶的偏好，給用戶推薦用戶喜愛的內容來獲得最大的獎勵。在很多時候，滿足道德約束和用戶偏好兩者很可能發生沖突。仲裁者可以設置一個閾值，定義道德約束和用戶偏好兩者分別能獲得多少優先級。在 IBM 提供的電影推薦 Demo 中，有一個滑塊允許父母選擇，道德原則和孩子的偏好，分別能占據多大的比例。

從電影推薦的例子中，我們也能很容易看出這套系統如何解決其他與 AI 推薦系統工作方式相關的問題。IBM 研究人員還在醫療保健中測試了該技術，他們通過在藥物成功變量和生活質量限制之間建立平衡，成功地在藥物劑量中使用該算法。 

該團隊還致力于改進系統可以訓練的示例類型。研究小組的負責人 Rossi 說：“我們還嘗試了不一些不只是“是或否”的例子，而是像優先事項那樣的事情，這樣我們就可以在提供道德行為示例方面更加清晰。”

如何讓個人用戶約束自己?

未來，研究團隊將致力于使 AI 能夠在更復雜的情況下工作。Rossi 說，“在這個用例中，我們專注于單一建議，例如是否應該推薦特定的電影”， “我們計劃擴大這項工作，以便能夠對行動序列施加限制”。 

這樣的改變將使算法能夠解決其他類型的問題，例如“過濾泡泡” (filter bubbles)和“技術成癮”。“過濾泡泡”這個概念由 Eli Pariser 在 2010 年提出，指的是在算法推薦機制下，高度同質化的信息流會阻礙人們認識真實的世界。

技術成癮的可能情況則是，一個無害的動作（例如檢查手機上的通知或從有偏見的來源閱讀新聞）在長期重復，或者與其他相似的行為組合起來時，會產生不利的影響。

雖然 Rossi 和她的同事開發的方法在親子電影推薦或醫患情況下表現良好，但在只涉及一個用戶的環境中會遇到限制，而我們在互聯網上使用的大多數應用程序，都是一個人的行為。在這種情況下，用戶將負責定義他們自己的道德準則和約束。

Mattei 說，“在一些更個性化的系統中，你可能能夠表達一些高級別的想法，比如'我希望看到更多種類'或'我希望花更少的時間在手機上”， “但如果你能設置它們，你也可以違背它們。你必須表達自己的美德并堅持下去。”

據了解，IBM 研究人員將于 7 月 17 日在瑞典斯德哥爾摩舉行的第 27 屆國際人工智能聯合會議上展示他們的算法。

來自: 雷鋒網