這是哪個流派的畫?問問算法吧
英文原文:The Machine Vision Algorithm Beating Art Historians at Their Own Game
按照藝術家和風格對繪畫進行分類,對人類還是有些難度的;而在不同的藝術家和風格之間明確相互的聯系難度則更大。因此,如果讓機器來做這項工作肯定是不可能完成的,但真是如此嗎?
在學術研究中,有少數幾個領域目前還沒有受到計算機科學和機器學習的影響,其中之一就是藝術史。即便是最先進的算法,要分析作者,繪畫的內容和風格也幾乎是不可能的。
但是,隨著近幾年機器學習方法的發展(比如深度卷積神經網絡),這個問題似乎正在有所改變。因為就在最近短短幾年時間里,計算機科學家們已經開發出了能夠匹配人類,有時甚至能超越人類的各種模式識別任務算法。
這是哪個流派的畫?問問算法吧
Babak Saleh 和 Ahmed Elgammal 來自新澤西羅格斯大學,他們讓這一技術變成現實。這兩個人使用了最新的機器學習技術,訓練算法精確識別繪畫屬性,包括藝術家和作品風格,這種技術之前從未被實現過。
更重要的是,該技術可以在整體繪畫風格上,識別藝術家之間的聯系,很多藝術歷史學家通常需要花很多年時間才能理解。
Saleh 和 Elgammal 最先創建了一個圖像數據庫,其中包括了跨越 15 個世紀,超過 1000 名藝術家的 8 萬多幅繪畫作品。這些繪畫覆蓋了 27 種不同的風格,每種風格內包括 1500 多副繪畫實例。研究人員還對作品體裁進行了分類,包括室內,城市風光,自然風景等。
之后,研究人員會設置圖像子集,然后利用該子集去訓練不同類型的機器學習算法識別指定的畫作特點,其中包括一些普通的、級別較低的特點,比如畫 作的總體色彩;之后則會訓練機器學習更高級別的特點,比如畫作中所描繪的物體(像馬、十字架)。最終,機器學習可以用 400 種不同的維度實現畫作的矢量描繪。
接下來,研究人員會讓機器去識別一幅它從未見過的繪畫作品,結果令人印象深刻,機器可以準確識別出藝術家,準確率高達 60%,要知道人工識別的準確率也不過 45%。但最重要的是,機器學習方法提供了一種解決方案,可以更加深入的了解藝術品特點,這些是人類難以做到的。
藝術史或許能讓計算機來教
但是在進行繪畫作品分類工作上,機器學習暫時還無法做到最好。
舉個例子,Saleh 和 Elgammal 的機器學習算法很難區分卡米爾·畢沙羅和克勞德·莫奈的繪畫作品。但是藝術家們只需要做一點小小的研究就能明確區分,十九世紀末二十世紀初兩人在法國非常 活躍,并且都在巴黎 Académie Suisse 藝術學院進修,利用這些背景,專家會知道畢沙羅和莫奈是一對好基友,彼此也會分享自己對藝術的經驗。所以,如果他們兩人的藝術作品有幾分相似,也就不足為 奇了。
還有一個例子,機器學習也無法很好地區分莫奈和美國印象派畫家蔡爾德·哈薩姆,后者深受法國印象派畫家和莫奈的印象。類似這種關聯,就需要人為來進行判斷了。
除了上述幾個缺陷之外,機器算法還能尋找藝術風格之間的聯系。舉個例子,它常常會混淆抽象表現注意和行動派繪畫,因為藝術家是通過在畫布上點滴 或甩畫漆來完成作品的。Saleh 和 Elgammal 表示,如果是一位人類觀察者,應該能夠理解這種混淆。他們說道,“行動派繪畫其實可以看做是抽象表現主義的一種子類型。”
機器算法還可以在類似的繪畫作品中“找不同”。比如表現主義畫派和野獸畫派,后者通常會被認為是表現主義畫派的一種形式。此外,機器算法還可以 將人文主義和文藝復興時期的藝術風格聯系起來,這種聯系清晰的反映出一個事實,那就是道德觀念曾經融入在早期文藝復興時期的繪畫作品里面。
其他直接的聯系包括,文藝復興和早期文藝復興時期的繪畫,印象派和后印象派的繪畫,立體派和后期綜合立體主義的繪畫。
這些聯系如果要讓藝術歷史學家來分析的話,可能需要幾十年,甚至幾百年,但是如果通過機器學習方法,只需幾個月時間。這對于研究藝術史來說有著 非常重要的意義,全新機器學習算法有一個應用,就是可以挑選出具有類似特點的繪畫作品(見上圖)。這將是一個非常強大的工具,因為歷史學家可能永遠都不會 知道不同藝術家之間存在的聯系,以及不同藝術家之間在作品上是如何相互影響的,而借助機器學習則能探索更多。
機器學習算法提供了一種全新的藝術探索形式,說不定會為藝術界帶來意想不到的效果!