藝術家如何使用機器學習？

今年春季，我將在紐約大學的交互式電信項目（ITP）中教授一門課程——用于藝術的機器學習。因為在科學研究領域之外，大多數人并不了解這一科目，所以我想在這篇文章中對本課程進行一些解釋說明，并借此簡單勾勒我的計劃。

在創意領域，已經有很多老師開設了向學生介紹機器學習的課程，其中包括Heather Dewey-Hagborg、Patrick Hebron和Rebecca Fiebrink。但這些相關課程中只有少部分是面向新聞學和STS（科學、技術和社會）等相關學科設置的，其中的大部分課程還是主要面向計算機學科和工程學領域。這種差異并不應該那樣理所當然。為了了解其中的原因，我們首先來比較一下機器學習（ML）和人工智能的另一個分支計算機視覺（CV）。

圖片：Footfalls（2006年，Golan Levin和Zachary Lieberman）是一個交互式視聽裝置，可以根據參觀者的跺腳聲產生瀑布式的彈性光影降落效果。

機器開始看見

第一個展示計算機視覺的藝術應用潛力的人是Myron Krueger；在他還在讀計算機科學博士生時，他就在研究將計算機視覺應用到虛擬現實和增強現實中了，而且這一工作還一直貫穿了他的整個七十和八十年代。他的開創性工作為后來的交互式裝置埋下了伏筆，并也將極大地影響即將成長起來的新一代藝術家。

21世紀初的那幾年，計算機視覺仍主要停留在計算機科學領域，學習者也主要是計劃將其用于自動化、監控等工業領域的科學家和工程師。那時候，藝術家才剛剛開始嘗試使用研究實驗室流出的軟件，比如OpenCV——這是計算機視覺領域首個主要的免費開源源碼庫。

而今天，我們已經有很多可以使用的開源計算機視覺庫了，基本上每一個創意編程框架下都至少有一個。計算機視覺已經被廣泛地應用在游戲、交互式裝置和其它許多設備場境中。

當然，計算機視覺和機器學習之間有明顯的區別。后者的大部分應用都需要大量的數據，而這些數據并不總是那么容易獲取。另外，計算機視覺的硬件要求現在已經降低到普通消費級設備的層次，而機器學習的硬件要求盡管也在下降，但對新架構來說仍舊不夠友好。

另一方面，我們也有理由相信機器學習能比計算機視覺贏得更快的發展速度。首先，機器學習更為通用，其應用范圍涵蓋了語音和自然語言、數據科學、新聞業和金融等許多不同的領域。其通用化程度之高甚至可以將計算機視覺都歸為其中一個子類；實際上現在已經有一些來自深度學習的技術（尤其是卷積神經網絡）在一些視覺任務（如：對象識別）中超越了經典的計算機視覺方法。

此外，和計算機視覺相比，機器學習所獲得的教育資源也豐富得多。你能找到大量的相關網絡課程、知識和技術匯編、指導、教程……盡管這些知識并不是專門針對藝術家制作的，但其足夠高的通用化程度使其可以在多種不同的學科中得到應用。盡管計算機視覺也有類似的資源，但遠不像機器學習那樣擁有如此眾多的免費資源；考慮到計算機視覺實際上進入公眾領域的時間更早，這樣的成就也確實不可思議。

圖片：來自「天書」，2015年12月

機器開始做夢

和許多人一樣，我也因深度學習（Deep Learning）的興起而倍感興奮。深度學習是機器學習的一個分支，該技術現在在許多標準任務中被認為是最先進的技術，尤其是在大型的、無序的、未標記的數據（如圖像、視頻、音頻和文本的原始數據）的分析處理中，更是受到青睞。2015年，深度學習在藝術領域也同樣在突飛猛進；我也參與到了其中，并制作了一些新作品。

視頻：為什么烏鴉像書桌？Stylenet +愛麗絲夢游仙境，2015年9月

我最新的作品就是上面提到的「天書」。我將一個包含了大量手寫漢字字符的數據庫導入到了一個神經網絡之中，該網絡能夠學習這些漢字的一般表示方法，也能根據這些樣本「幻想」出假的「手寫樣本」，并且還能在那些被認為寫得好的樣本中取出插值來生成中間結果。

去年九月份，我制作了視頻《為什么烏鴉像書桌？》，該視頻是使用樣式轉換或稱「Stylenet」的技術處理動畫片《愛麗絲夢游仙境》的一段場景之后得到的。

Yann LeCun將以上兩個作品和其它一些作品分享到了深度學習研究社區。我希望這樣的公眾項目能夠激勵更多研究者將自己的軟件開放給學術研究之外的項目。

藝術家應該深入學習深度學習嗎？

深度學習確實有些難度。首先，必備軟件可能難以安裝。很多時候，機器學習需要大量軟件，而且有時候這些軟件還相互依賴，運行時會產生不可預知的錯誤；更惱火的是很多資料都是面向有計算機科學或軟件工程背景的人設計的。對于那些沒有相關背景的人來說，如果沒有預先處理好，調試工作將會非常耗時，從而對主要的工作目標產生影響。

此外，這些軟件的創意程序庫中還包含了一些高層次的抽象。這些算法是由專家設計出來以更有效地執行某些特定任務的。但這也因此導致我們很難以一種和原作者的設計不一樣的方式有創造性地利用這些庫。另外，因為大部分深度神經網絡的計算都比較昂貴，所以基本上難以用來用來創建實時應用。最后還不要忘了缺乏足夠大的理想數據集、存儲器限制等各種因素。

基于以上原因，我認為現在就圍繞新的深度學習庫向藝術家教授機器學習課程還沒有多少價值。現在更有效的做法是使用更加成熟穩定的工具來構建分類、回歸和聚類等應用。對于那些需要實時計算和基于性能的應用來說，Wekinator是一個非常合適的工具。該工具封裝了大部分有關機器學習的細節，并且還通過Open Sound Control（OSC）協議提供了非常方便的接口，讓藝術家和音樂家可以插入它們最喜歡的工具以及在更高層次上觀察機器學習例程的基本函數。而對非實時的任務（如：數據可視化和推理）來說，scikit-learn是一個不錯的選擇，它非常容易使用，而且還有豐富的文檔和相關案例可供學習參考。

我認為深度學習的教學很快就會變得更為實用，甚至在2016年底之前就可能實現。到那時，學習過「經典的」機器學習課程的學生將有更為充足的準備進入「深水區」。

來自 medium ，作者Gene Kogan。機器之心編譯出品。編譯：吳攀。

</div>

來自： http://www.almosthuman.cn/2016/01/11/9w9d4/