人工智能也能玩音樂游戲，自動學習編曲變身勁舞大師
Dance Dance Revolution（國內譯為勁舞革命）是一個風靡全球的節奏類音樂游戲。大家應該都曾經玩過，或者在商場的游戲廳中見到過它，現在，人工智能也可以玩這款游戲了！
據雷鋒網，游戲規則是玩家在跳舞臺上按照屏幕上的腳步指示圖案調整腳步，根據音樂的節奏在特定的時間點上踩在指定的舞臺按鈕上。最終根據是否在正確的時間踩在了正確的按鈕上來決定得分的多少。不同難度的游戲，腳步指示圖案也不同，難度越高，指示圖案越多，而且有更復雜的順序。跳舞臺有上下左右四個箭頭按鍵，每個按鍵有四種狀態：開，關，保持，釋放。四個箭頭按鍵可以各自獨立的激活或釋放，所以總共有 256 中可能的腳步組合。
屏幕上的舞步指示是根據音樂結構制作的，不同的音樂節奏或旋律對應不同的舞步。雖然 DDR 相當流行，但是玩家也有一些抱怨：比如曲庫是有限的，玩家有時候并不能跳他們最喜歡的音樂的舞蹈，或者即使有這個音樂，但是玩家并不喜歡設定好的舞步。為了解決這個問題，DDR 公司開源了一些工具，使得玩家們可以自己為音樂編舞。但實際上，自己編舞的過程是很痛苦的，并且需要很多專業的知識。下圖為示例的編排過程。
日前，加州大學圣地亞哥分校的研究者使用了一種方法可以自動生成舞步，可以從原始的音頻中直接生成腳步指示圖案，以此來學習編舞。這種方法通過模仿人制作的腳步指示圖案的語義信息來學習。這個問題可以被分解為兩個子任務：
-
舞步放置，在歌曲中應該放置舞步的位置放置一系列的時間戳。這個過程根據玩家選擇的難度的不同而產生不同的結果。
-
舞步選擇，選擇在時間戳上面放置哪種舞步（上下左右）。
按順序運行這兩個步驟，會產生一個可玩的舞步指示圖案。過程如下圖。
對 Knife Party feat 這首歌的其中四秒進行舞步編排的流程，從上到下分別是人工編排的舞步，舞步選擇預測，舞步放置預測，音頻特征。
學習編舞的過程主要是音樂信息檢索（music information retrieval， MIR）。放置舞步的過程與起始點檢測（onset detection）很相似。Onset detection 的目標是確定音樂上突出事件的時間點，例如音符或者鼓點。在編舞的任務中，并不是所有的音樂中的所有 onset 都對應 DDR 的舞步，但 DDR 的舞步一定對應著一個 onset。
在數據方面，研究者們使用了 DDR 公司的標注好的數據：Stepmania Online，它用于超過 100k 首的歌曲，總共 350Gb 的數據。此外，研究者還收集整理了另外其他作者所創作的兩個高質量的數據集。
在舞步放置階段，研究者采用了卷積神經網絡結構。整個模型包含了兩個卷積層和兩個全連接層。為了提高 CNN 的性能，研究者又加入了C-LSTM 模型，將卷積編碼與 RNN 結合，以達到整合更長時間窗口信息的目的。網絡結構見下圖：
在舞步選擇階段，研究者將舞步選擇視為序列生成問題。他們使用了在處理語言模型中很常用的 RNN 模型，因為 RNN 能更好的捕捉長距離的上下文關系。
網絡結構見下圖：
本篇論文提供了一個 Demo，感興趣的可以自己嘗試一下：http://deepx.ucsd.edu/ddc
也可以在 油Tube 上觀看官方給出的演示視頻：https://youtu.be/yUc3O237p9M
更多的實現細節請參考原論文：Dance Dance Convolution
來自: 雷鋒網