湯姆·漢克斯如何變成喬治·克魯尼？機器學習算法學會從網圖重構人臉

湯姆·漢克斯近年來飾演了許多角色，從年輕人到老人，從聰明人到頭腦簡單的人……但我們依然還是能認出他是湯姆·漢克斯。這是為什么？是因為他的 長相、神態還是動作？華盛頓大學的研究者證明，對擁有海量照片的名人（如湯姆·漢克斯），機器學習算法能從網上的圖片中捕捉出他們的「面部人格 （persona）」，并創建一個數字模型。有了足夠的視覺數據可供挖掘，這個算法能夠讓湯姆·漢克斯的數字模型進行他本人從未發表過的演講。

該研究的第一作者、華盛頓大學計算機科學與工程系的研究生Supasorn Suwajanakorn說：「為什么湯姆·漢克斯會看起來像湯姆·漢克斯？我們的計算機系統能夠模擬湯姆·漢克斯的行為，或許能給出這個問題的答案。」 這依賴于華盛頓大學計算機科學助理教授Ira Kemelmacher-Shlizerman在3D面部重建、追蹤、校準、多紋理建模和控制技術方面取得的進展。這個新成果將于12月16日公布在智利 舉行的計算機視覺國際會議上。

下面這個視頻展示了該團隊最新的成果——轉移表情，并將一個人講話的方式「移植」到另一個人臉上。例如，將前總統喬治·布什的神態特點移植到另一個政客或名人的臉上。

華盛頓大學計算機視覺研究者們有一個共同的目標，那就是從家庭照片、視頻、歷史記錄等視覺信息中創造出完全互動的3D電子面部人格。這個成果讓他們距離自己的目標又更近了一步。

隨著虛擬現實和增強現實技術的發展，他們希望能用家庭照片或視頻創建遠方親人（例如居住在另一個半球的祖父）的互動模型，而不僅是用二維的 Skype來溝通。Kemelmacher-Shlizerman說：「或許某一天，當你戴上一副增強現實的眼鏡，就能看到你母親坐在客廳的沙發上。這種 技術現在還不存在，但顯示技術已經在飛速發展。然而，如何在3D世界中重建你母親呢？」研究者認為，臉部3D建模技術將彌補這個缺陷。

該論文的共同作者Steve Seitz說：「想象一下，你將能和任何你不能實際接觸到的人進行對話，例如勒布朗·詹姆斯、奧巴馬、卓別林……并與他們互動。我們正朝這個方向努力。要 實現這一點，就必須讓模型說出真人并沒有說過的話，但感覺起來還是他們自己。這篇論文就證明了這種可能性。」

現有的技術想要創建真人的三維全息圖像，通常需要演員進入特制的攝影棚進行拍攝。他們煞費苦心地從每一個角度進行拍攝，捕捉演員的每一個細小的動 作——這在你的客廳里可辦不到。除此之外還有一些其他方法，但依然需要用相機來掃描真人，再創建一個基礎的「化身（avatar）」，才能用在電子游戲等 虛擬環境中。但是華盛頓大學的計算機視覺專家們希望從互聯網上已有的隨機圖片中重建電子模型。

要重建湯姆·漢克斯、奧巴馬或丹尼爾·克雷格這樣的名人，機器學習算法需要挖掘至少200張網絡圖片，這些圖片的場景不同，人物的動作也不同—— 這個過程也就是所謂的「野外學習（learning in the wild）」。Kemelmacher-Shlizerman說，多年來他們一直在開發這個算法：不需要演員親自前來，也不需要任何攝影設備，僅從網絡圖 片就構建出真人的數字模型。

下面這個視頻中，Suwajanakorn展示了他們最近開發的一種技術，可以捕捉依賴表情的紋理，也就是人物微笑或驚訝時的細微面部差異。

通過控制光照條件，他開發了一種新方法，能將一個人臉上的細微表情變化轉移到另一個人的臉上。這個突破使得他們能夠「控制」另一個人的數字模型， 做出同樣的動作和表情，有潛力迎來一大批動畫和虛擬現實新應用。Seitz說：「我們能讓模型擁有布什的表情、嘴型和動作，但他卻長著一張喬治·克魯尼的 臉。」

來自 sciencedaily ，機器之心編譯出品。編譯：汪汪。