[干貨]神經網絡語言模型詳解

1 簡介

2 神經網絡語言模型

NNLM 最早由Bengio系統化提出并進行了深入研究[Bengio, 2000, 2003]。當然分開來看，(1) distributed representation最早由Hinton提出(1985), (2)利用神經網絡建模語言模型由Miikkulainen and Dyer，Xu and Rudnicky分別在1991和2000提出。

NNLM 依賴的一個核心概念就是詞向量（Word Embedding）。詞向量源于Hinton在Learning distributed representations of concepts提出的Distributed Representation，Bengio將其引入到語言模型建模中，提出了NNLM。那么，我們不禁要問，什么是詞向量呢？

2.1 詞向量

b、詞向量為神經網絡的一類參數，可以通過訓練得到，同時基于詞向量可以表示詞序列的聯合分布。

2.2求解目標

一般而言，神經網絡語言模型的優化目標是最大化帶正則化項的Log-Likelihood，其中參數集合為為神經網絡的參數。

3 Bengio NIPS’03 Model

3.1 模型結構

Bengio使用前饋神經網絡（FFNN，Feed Forward Neural Network）表示，其結構如下：

圖 1 Bengio Yoshua提出的神經網絡結構

3.2發展方向

4 Hierarchical Neural Language Model

基于前述工作，Bengio又提出了層次結構的神經網絡語言模型，用于加速模型的訓練和推斷過程。

4.1 模型結構

Hierarchical Neural Language Model的表達式如下：

4.2 參數求解

5 Log Bi-Linear

Hinton在研究RBM時，結合神經網絡語言模型提出了三種基于RBM的語言模型，FRBM（Factored RBM）、Temporal FRBM、Log-Bilinear Language Model，其中Log Bi-Linear為前兩者的簡化版本，本文中僅介紹Log-BiLinear Language Model。

5.1 模型結構

圖2 Log Bi-Linear模型結構

上圖表示，每個詞在詞向量矩陣中找到對應的詞向量表示，然后通過鏈接矩陣和當前詞（圖中）關聯，其中關聯關系是使用能量函數表示。

5.2 參數求解

6 Hierarchical LBL

Hinton將Bengio的Hierarchical NNLM和Log Bi-Linear思想結合，提出了Hierarchical Log Bi-Linear Language Model。

6.1 模型結構

Hierarchical LBL是將Hierarchical NNLM和Log Bi-Linear結合起來，對應的語言模型形式，

Log Bi-Linear部分可以簡要表示為，

其中，為對應的偏置項(bias)，是上下文中的詞向量加權，權值為當前詞t和上下文中詞的關系權值，為詞w對應的詞向量。

由以上，可以推出HLBL的模型為，

其中，為詞w的編碼集合，這詞采用多種編碼方式能夠更好刻畫詞的不同形式和“語義”，這種思路在后續的SENNA中也有體現。

6.2 參數求解

該模型參數求解可以直接套用Log Bi-Linear和Hierarchical NNLM的方式，其中不同之處，Hinton提出了一種新的簡單的構建層次結構的方法：通過遞歸的使用二維的高斯混合模型（GMM，Gaussian Mixture Model）進行聚類，直到每個cluster中僅包含兩個詞，這樣所有的結果就構成一個二叉樹。

7 SENNA

7.1 模型結構

SENNA包含兩種網絡構建方式（1）window approach（圖3）（2）sentence approach（圖4）。

圖3 window approach

圖4 sentence approach

因為sentence的大小不一定相同，需要在sentence上選取滑窗將輸入的向量進行卷積，得到如下形式，

其中，序列中所有滑窗共享。相比線性層，卷積層將局部的特征堆疊起來構建高層的特征，而線性層則需要一個非線性變換（比如HardTanh）才能達到這種效果。

Max層是將卷積層的輸出的局部特征合并成為全局特征，卷積層輸出處理常用的方法有AVG和MAX。SENNA中采用的是MAX運算，即，

其中，為卷積層的輸入，為Max的輸出。

7.2 參數估計

上式中，logadd操作擁有特殊的性質可以遞歸的求解，可以方便的得到遞推公式，

終止條件為，

上述過程理解可以參照HMM的前向算法。在訓練時，對所有的樣本最大化data log likelihood，注意其中為tag路徑條件概率。

8 Eric Huang’s Model

在Bengio的神經網絡結構的基礎上，Eric Huang提出了引入文檔的全局信息引神經網絡語言模型，結構類似于Bengio的網絡結構。

8.1 模型結構

相比Bengio的模型，Eric Huang引入了詞的全局信息，在原本的網絡結構中加入了子網絡，形成如下圖所示結構。

圖5 Eric Huang的網絡結構圖

其中，為文章中包含的詞向量的加權平均，權值公式可以有多種形式，Eric Huang采用IDF加權的方式。

8.2 參數求解

9 word2vec

9.1 CBOW

CBOW模型見下圖，

圖6 CBOW模型結構

9.2 Skip-Gram

Skip-Gram結構圖見下圖

圖7 Skip-Gram模型結構

9.3 參數求解

10 Glove

Glove（Global Vectors for word representation)由Jeffrey和Socher提出，并在word analogies，word similarity，NER任務中取得不錯的效果。Glove融合了Globall Matrix Factorization和Local Context Window（見Section 11），提出了Log Bi-Linear的回歸模型。從Glove的模型結構看，與神經網絡結構存在不同，但是將其中函數設置為神經網絡結構，即二者等價。

10.1 模型結構

所有非監督的word representation學習算法均需要基于詞的共現矩陣，然后經過復雜變換和分解得到對應的word representation。Glove直接構造一個詞共現矩陣的近似矩陣（Context為固定長度），盡可能保存詞之間的共現信息，如下圖所示，

表1 共現矩陣舉例

10.2 模型求解

11 Recurrent Neural Network Language Model

在前饋神經網絡語言模型建模過程中取得STOA（the STate Of Art）的效果后，Thomas Mikolov將Recurrent Neural Network引入，同樣取得很好的效果。相比前饋神經網絡，RNN能講更多的上下文考慮到模型中來（FFNN僅能考慮窗口內的上下文），RRN的隱藏層 能夠囊括當前詞的所有前序詞（all previous words）。在序列數據中，RNN能夠發現更多的詞與詞之間的pattern（與模型能夠囊括更多的前序詞有關）。

11.1 模型結構

在進行語言模型建模，一般采用簡化版本的網絡結構，此為時延神經網絡（TDNN，Time Delay Neural Network)，RNN的結構參照下圖[Mikolov, 2013]

圖8 簡化版RNN結構

11.2 模型求解

圖9 展開的RNN

12 The Expressive Power of Word Embedding

表2 各類模型的在Chunking任務下F1得分，其中C&W的word embedding維度為50

表3 各類模型在NER任務下的F1得分，其中C&W的word embedding維度為50

Yanqing Chen在ICML-13上發表一篇評測現有Word Embedding的表達能力的論文，文中提到了四種公開發布的Word Embedding（HLBL，SENNA， Turian’s， Eric Huang’s）。文中基于的評測任務有（1）Sentiment：情感分析（兩類情感）；（2）Noun Gender：人名性別識別（Noun Gender）；（3）Plurality：復數（英文）形式判定；（3）Synonyms and Antonyms：同義詞反義詞判定；（4）Regional Spellings：不同語種形式判定（UK vs. U.S.A.）

表4 評價任務示例

從上表中可以看出，每個任務可以描述為一個二分類問題，現在需要考慮的是如何構建分類的特征。

詞向量數據集：SENNA（130,000 words 50 dimension）、Turian’s（268,810 words 25or50or100 dimension）、HLBL（246,122 words 50 or 100 dimensions）、Huang‘s（100，232 words 50 dimensions）

評測中采用了線性和非線性兩類分類器，分別為Logistic Regression和SVM with RBF kernel。

圖10 基于Term的任務評測結果，陰影區域為使用SVM with kernel得到的提升

圖11 Regional Spellings(UK vs. US)

圖12 基于詞對分類的結果

從上述幾個任務的結果圖中，可以明顯看出Eric Huang’s和SENNA有明顯的優勢。從總體來看，對比原有Baseline均有提升，可見詞向量一定程度上符合語言的表述，但此文中沒有將 word2vec、Glove等后起之秀考慮在內，無法客觀的評價詞向量技術哪家強。

13 Conclusion

本文內容包含了部分個人理解和詮釋，如各位讀者發現文中錯誤或者與您理解不一致的情況，歡迎留言討論或者私信我微博 @Copper_PKU，謝謝~

Reference & Comments

        1. 宗成慶. 統計自然語言處理. 清華大學出版社. 2008. 此書為統計觀點，適合CS背景做NLP的人讀。
    </p>
    <p>
        2.Manning, C. D Foundations of Statistical Natural Language Processing. MIT Press. 1999.
    </p>
    <p>
        3. 馮志偉. 自然語言處理的形式模型. 中國科技大學出版社. 2010. 此書講涵蓋句法、語義各個層面 ps：作者是從Linguistic角度去分析自然語言處理
    </p>
    <h3>
        Model:
    </h3>
    <p>
        1. Yoshua Bengio. A Neural Probabilistic Language Model. JMLR(2003). 2003. 神經網絡語言模型的開山之作，MileStone論文，引用率634(Google Scholar)。
    </p>
    <p>
        2. Frederic Morin, Yoshua Bengio. Hierarchical Probabilistic Neural Network Language Model. Innovations in Machine Learning(2006). 2006.提出了Hierarchical NPLM
    </p>
    <p>
        3. Andriy Mnih, Geoffrey Hinton. Three New Graphical Models for Statistical Language Modelling. ICML(2007). 2007. 提出了三個Model，其中提的較多的是A Log-Bilinear Language Model，后續論文多引用此模型
    </p>
    <p>
        4. Andriy Mnih, Geoffrey Hinton. A Scalable Hierarchical Distributed Language Model. NIPS(2008). 2008. 提出HLBL
    </p>
    <p>
        5. Ronan Collobert, Jason Weston. A Unified Architecture for Natural Language Processing: Deep Neural Networks with Multitask Learning. ICML(2008). 2008. 舊瓶新酒-TDNN + Multitask Learning
    </p>
    <p>
        6.Ronan Collobert Jason Weston et al.Natural Language Processing (Almost) from Scratch. JMLR(2011). 2011. 對SENNA進行解釋的論文，注意SENNA要區別[5]中的C&W embedding.
    </p>
    <p>
        7. Eric H. Huang, Richard Socher, etc. ImprovingWord Representations via Global Context and MultipleWord Prototypes. ACL(2012). 2012. 此篇paper把全局信息加入模型，模型求解用了[5]中的方法
    </p>
    <p>
        8. word2vec系列paper：
    </p>
    <ul>
        <li>
            <p>
                Distributed Representations ofWords and Phrases and their Compositionality
            </p>
        </li>
        <li>
            <p>
                Efficient Estimation of Word Representations in Vector Space
            </p>
        </li>
        <li>
            <p>
                word2vec Explained: Deriving Mikolov et al.’s Negative-Sampling Word-Embedding Method 解釋性的paper 發布arxiv上的，和有道那個可以一起看
            </p>
        </li>
    </ul>
    <p>
        9. Nitish Srivastava, Ruslan Salakhutdinov,Geoffrey Hinton. Modeling Documents with a Deep Boltzmann Machine. UAI(2013). 類似于LDA的一種topic model
    </p>
    <p>
        10. RNN系列, Recurrent NN能model long term dependency, 訓練出的結果比Feed Forward NN結果更好 但訓練復雜度更大 這個系列word2vec作者Mikolov研究較多，比如其博士論文
    </p>
    <ul>
        <li>
            <p>
                Linguistic Regularities in Continuous SpaceWord Representations
            </p>
        </li>
        <li>
            <p>
                Recurrent neural network based language model
            </p>
        </li>
        <li>
            <p>
                STATISTICAL LANGUAGE MODELS BASED ON NEURAL NETWORKS [PHD THESIS IN BRNO UNIVERSITY OF TECHNOLOGY]
            </p>
        </li>
    </ul>
    <p>
        11. Recursive NN這個主要用在句法分析上，model自然語言存在的遞歸結構 這個主要是Richard Socher的paper
    </p>
    <ul>
        <li>
            <p>
                Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank
            </p>
        </li>
        <li>
            <p>
                Parsing Natural Scenes and Natural Language with Recursive Neural Networks
            </p>
        </li>
    </ul>
    <p>
        12. Joseph Turian, Lev Ratinov, Yoshua Bengio. Word representations: A simple and general method for semi-supervised learning. ACL(2010) 對現有的word Representation做了對比 提供一個新的word embedding 讀者可以自行復現（見Section 13）。
    </p>
    <div>
        <p>
            13. Jeffrey Pennington，Richard Socher, Chris Manning. GloVe: Global Vectors for Word Representation. EMNLP(2014)
        </p>
        <p>
            GloVe與word2vec對比的效果曾經被質疑過 其實word2vec效果差不多
        </p>
    </div>
    <div>
        <p>
            14. Omer Levy, Yoav Goldberg.Neural Word Embedding as Implicit Matrix Factorization. NIPS. 2014.
        </p>
        <p>
            將SGNS(Skip Gram with Negative Sampling)和矩陣分解等價分析，SGNS等價于分解PMI矩陣。文中作者基于譜方法（SVD）分解shifted PPMI的矩陣，得到了不錯的效果（word sim上和word2vec類似）。作者還在arxiv提交了一個分析SGNS的note，結合看更加。
        </p>
    </div>
    <p>
        15.Q.V. Le, T. Mikolov.Distributed Representations of Sentences and Documents. ICML(2014). 2014. 文中各個實驗都體現了好的效果，但是可復現性一直遭到質疑，最近在word2vec的google group上公布了復現方法，已經有人復現出92.6%的結果。
    </p>
    <h3>
        Tutorial：
    </h3>
    <p>
        1. Tomas Mikolov. Statistical Language Models Based on Neural Networks
    </p>
    <p>
        2. Richard Socher. Recursive Deep Learning for Modeling Semantic Compositionality
    </p>
    <p>
        3. Ruchard Socher, Christpher Manning. Deep Learning for Natural Language Processing (without Magic)
    </p>
    <h3>
        Evaluation：
    </h3>
    <p>
        1. Yanqing Chen, etc. The Expressive Power of Word Embeddings. ICML(2013). 實驗評價了四個model–HLBL[4],SENNA[11],Turian’s[12], Huang’s[6].
    </p>
</div>

</div>