騰訊AI Lab獲計算機視覺權威賽事冠軍 超微軟、谷歌
2017 年 8 月，在圖像描述生成技術這一熱門的計算機視覺與 NLP 交叉研究領域，騰訊 AI Lab 憑借自主研發的強化學習算法在微軟 MS COCO 相關的 Image Captioning 任務上排名第一，超過了微軟、谷歌、IBM 等參賽公司，體現了在這一 AI 前沿領域的技術優勢。
MS COCO (Microsoft Common Objects in Context，常見物體圖像識別)數據集（http://cocodataset.org/）是由微軟發布并維護的圖像數據集。在這個數據集上，共有物體檢測 (Detection)、人體關鍵點檢測 (Keypoints)、圖像分割 (Stuff)、圖像描述生成 (Captions)四個類別的比賽任務。由于這些視覺任務是計算機視覺領域當前最受關注和最有代表性的，MS COCO 成為了圖像理解與分析方向最重要的標桿之一。其中圖像描述生成任務(Captions)，需要同時對圖像與文本進行深度的理解與分析，相比其他三個任務更具有挑戰性，因此也吸引了更多的工業界（Google，IBM，Microsoft）以及國際頂尖院校（UC Berkeley、Stanford University）的參賽隊伍，迄今共有 80 個隊伍參與這項比賽。
通俗來說，圖像描述生成（image captioning）研究的是使機器擁有人類理解圖像的能力，并用人類語言描述感知到的圖像內容。圖像描述生成使得機器可以幫助有視覺障礙的人來理解圖像，給圖像提供除了標簽（tag）以外更加豐富的描述，因此這項任務具有廣泛的實際意義。從學術研究的角度來說，圖像描述生成的研究不僅僅需要理解圖像，更需要理解自然語言，是一個跨學科跨模態的交叉研究課題，也是對深度神經網絡的學習能力向多個數據域擴展的一步重要的探索。因此，眾多科技企業和科研機構參與了此任務，包括 Google [1][3]、Microsoft [5]、IBM [2]、Snapchat [4]、Montreal/Toronto University [6]、UC Berkeley [7]、 Stanford University [8]、百度 [9]等。
最近，騰訊 AI Lab 研發了新的強化學習算法（Reinforcement Learning）以進一步提高圖像描述生成的模型能力，如上圖所示。相應的圖像描述生成模型，采用了編碼器-解碼器（encoder-decoder） [1] 的框架，同時引入了注意力（attention）的機制 [3]。基于之前研究的空間和通道注意力模型 （spatial and channel-wise attention）[10]的研究成果， AI Lab 構建了新網絡模型引入了一個多階段的注意力機制（Multi-stage Attention）。編碼器，使用已有的圖像卷積神經網絡（CNN）如 VGG，Inception，ResNet 等，將給定的圖像編碼成為蘊含圖像語義信息的向量。這些向量能夠表征圖像不同尺度的語義信息，譬如全局的語義、多尺度的局部語義。解碼器，使用當前最流行的長短時記憶模型（LSTM），將編碼器得到的圖像的全局和局部語義向量，解碼生成描述圖像內容的文本語句。正是在解碼的過程中，AI Lab 創新性地使用了多階段的注意力機制：將圖像不同尺度的局部語義信息，通過不同階段的注意力模塊，嵌入到每一個單詞的生成過程中；同時注意力模塊需要考慮不同尺度引入的不同階段的注意力信號強弱。
除了引入多階段的注意力機制，AI Lab 所研發的強化學習算法能進一步提升構建的網絡模型的訓練效果。使用傳統的交叉熵（cross entropy）作為損失函數進行訓練，無法充分地優化圖像描述生成的衡量指標，譬如 BLEU，METEOR，ROUGE，CIDER，SPICE 等。這些衡量指標作為損失函數都是不可微的。針對此不可微的問題，AI Lab 使用強化學習算法訓練網絡模型以優化這些衡量指標。訓練過程可概括為：給定一副圖像，通過深度網絡模型產生相應的語句，將相應的語句與標注語句比對以計算相應的衡量指標；使用強化學習構建深度網絡模型的梯度信息，執行梯度下降完成網絡的最終優化。最終，通過充分的訓練，騰訊 AI Lab 研發的圖像描述生成模型在微軟 MS COCO 的 Captions 任務上排名第一，超過了微軟、谷歌、IBM 等科技公司。
[1]. O. Vinyals, A. Toshev， S. Bengio, and D. Erhan, “Show and Tell: A Neural Image Caption Generator”， CVPR 2015.
[2]. S. J. Rennie, E. Marcheret, Y. Mroueh, J. Ross, and V. Goel, “Self-critical Sequence Training for Image Captioning”， CVPR 2017.
[3]. S. Liu; Z. Zhu; N. Ye; S. Guadarrama; and K. Murphy， “Improved Image Captioning via Policy Gradient Optimization of SPIDEr”， ICCV 2017.
[4]. Z. Ren, X. Wang, N. Zhang, X. Lv， and Li-Jia Li, “Deep Reinforcement Learning-Based Image Captioning With Embedding Reward”， CVPR 2017.
[5]. H. Fang, S. Gupta, F. Iandola, R. Srivastava, L. Deng, P. Dollár, J. Gao, X. He, M. Mitchell, J. Platt, C.L. Zitnick, and G. Zweig, “From Captions to Visual Concepts and Back”， CVPR 2015.
[6]. K. Xu, J. Ba, R. Kiros, K. Cho, A. Courville, R. Salakhudinov， R. Zemel, and Y. Bengio. Show， “Attend and Tell: Neural Image Caption Generation with Visual Attention”， ICML 2015.
[7]. J. Donahue, L. Hendricks, S. Guadarrama, M. Rohrbach, S. Venugopalan, K. Saenko, and T. Darrell, “Long-term Recurrent Convolutional Networks for Visual Recognition and Description”， CVPR 2015.
[8]. A. Karpathy and Li Fei-Fei, “Deep Visual-Semantic Alignments for Generating Image Descriptions”， CVPR 2015.
[9]. J. Mao, W. Xu, Y. Yang, J. Wang, and A. L. Yuille, “Deep Captioning with Multimodal Recurrent Neural Networks (m-RNN)”， ICLR 2015.
[10]. L. Chen, H. Zhang, J. Xiao, L. Nie, J. Shao, W. Liu, and T. Chua, “SCA-CNN: Spatial and Channel-wise Attention in Convolutional Networks for Image Captioning”， CVPR 2017.
來自: 騰訊科技