谷歌視頻網站油Tube的下一個挑戰:視頻搜索
谷歌博客今天比較忙,在發布 TensorFlow's 1.0 這一重磅更新后,緊接著又發布了一條新聞:啟動一場基于 油Tube-8M 數據庫的視頻理解挑戰賽。挑戰賽提供了豐厚的獎金,并終將在今年的 CVPR2017 大會上進行展示。去年 9 月,為了促進大規模視頻理解技術的創新和發展,我們發布了 油Tube-8M 數據庫,里面包含了數百萬的視頻,而且這些視頻都被分類貼上的數千種標簽。
最近,谷歌其它團隊相繼發布了更多的數據庫,比如 Open Images 和 油Tube-BoundingBoxes,與 油Tube-8M 數據庫一起,促進圖像和視頻理解技術的發展。為了促進這些目標,今天我們正式發布升級版的 油Tube-8M,并與 Google Cloud Machine Learning、 kaggle.com 一起合作組織一場“視頻理解挑戰賽”和一場以此為主題的 CVPR’17 Workshop。
升級版的 油Tube-8M
最新升級版的 油Tube-8M 包括更加清晰、詳細的標簽(平均每個視頻多兩倍的標簽)和一系列干凈的視頻。除了之前發布的視覺特征之外,數據庫首次包括了預先計算的音頻特征,這是基于最先進的音頻建模架構得來的。音視頻特征以 1 秒的時間粒度實時同步,這使得 油Tube-8M 成為了一個大型多模態的數據庫,為聯合音視(臨時的)建模提供了令人欣喜的機會。新版本的關鍵數據如下所示。

升級版 油Tube-8M 數據庫的可視化樹狀圖。按照 24 個垂直行業組織起來,包括前 200 個最常用的實體和每一個垂直領域最常用的 5 個實體。

樣本視頻,來自 油Tube-8M 數據庫里前 18 個高等級的垂直領域
谷歌云和 油Tube-8M 視頻理解挑戰賽
我們很高興地宣布“谷歌云和 油Tube-8M 視頻理解挑戰賽”(Google Cloud & 油Tube-8M Video Understanding Challenge)正式啟動,這次挑戰賽與谷歌云和 kaggle.com 一起合辦。挑戰賽參與者需要在使用 油Tube-8M 作為訓練數據庫的基礎上,建造音視頻內容分類模型,然后給大約 70 萬未見過的測試視頻貼上標簽。這個比賽將由 Google Cloud 贊助,優勝者們將獲得 10 萬美元的獎金(第一名獎金 3 萬美元,后四名分別為 2.5 萬、2 萬、1.5 萬和 1 萬美元)。為了讓這個比賽有更廣泛的參與度,Google Cloud 也會提供一些使用優惠,參與者可以自由選擇是否使用 Google Cloud 機器學習來訓練模型和進行探索。
開源的 TensorFlow 代碼、執行的一些基線分類模型、訓練和評估腳本,如今在 Github 上都可以獲得了:https://github.com/google/油Tube-8m/
基于本地或云端的訓練,請看這個說明:https://github.com/google/油Tube-8m/blob/master/README.md
指南:https://www.kaggle.com/c/油Tube8m#getting-started-with-google-cloud)
CVPR 2017 Workshop
2017 年 7 月,第 30 屆 IEEE 計算機視覺與模式識別大會(CVPR 2017)將在夏威夷舉行,2017 年 7 月 26 日,我們將在第一屆 油Tube-8M Workshop 上宣布此次挑戰賽的結果,并且也會舉辦由杰出研究員參加的特邀報告。Workshop 上,將會對挑戰賽表現優異者成果和一些論文進行展示。我們在此邀請研究人員們提交基于 油Tube-8M 所做的創新研究、實驗和應用論文,也包括與上述挑戰賽相關的論文。
我們設計這個數據庫的時候,就考慮到規模和多元性,希望從中學到的教訓可以推廣到很多視頻域(油Tube-8M 捕捉了超過 20 中多樣的視頻域)。我們相信,這次挑戰賽可以給研究者提供更大的數據或計算集群,以前所未有的規模去探索和創新,從而促進研究的進步。
Via Googleblog
來自: cnBeta
