用 R 語言實現深度學習情感分析

JuanCtt 6年前發布 | 24K 次閱讀深度學習情感分析

前言

到了2018新的一年。18歲雖然沒有成為TF-boys，但是2018新的一年可以成為TF（Tensorflow-boys）啊~~

word embeddings介紹

之前建立的情感分類的模型都是Bag of words方法， 僅僅統計詞出現的次數 這種方法破壞了句子的結構。這樣的結構，我們也可以使用如下的向量（one hot 編碼）表示句子「The cat sat on the mat」：

然而，在實際應用中，我們希望學習模型能夠在詞匯量很大（10,000 字以上）的情況下進行學習。從這里能看到 使用「獨熱碼」表示單詞的效率問題 ——對這些詞匯建模的任何神經網絡的輸入層至少都有 17000,000 個節點。因此，我們需要使用 更高效的方法 表示文本數據，而這種方法不僅可以保存單詞的上下文的信息，而且可以在更低的維度上表示。這是 word embeddings 方法 發明的初衷。

word embeddings就是 將一個個詞映射到低維連續向量 (如下圖所示) ：

這種向量的思想就是將相似的詞映射到相似方向，所以，語義相似性就可以被編碼了。相似性一般可以通過 余弦相似度來衡量 ：

安裝TensorFlow和Keras

# 安裝并加載Keras包
install.packages("devtools")
devtools::install_github("rstudio/keras")
install_keras()library(keras)

# 安裝并加載TensorFlow包
devtools::install_github("rstudio/tensorflow")library(tensorflow)
install_tensorflow()

注：安裝TensorFlow和Keras前需要安裝Anaconda，Anaconda盡量裝最新版本的，Anaconda在Windows安裝有一些坑，我是把Java環境刪掉還有使用默認路徑才成功安裝了Anaconda。

檢測是否安裝成功

# 輸入下面代碼
sess = tf$Session()
hello <- tf$constant('Hello, TensorFlow!')
sess$run(hello)

OK,如果沒有問題的話，你的結果也將是如上圖所示，則表明你已安裝成功。

LSTM原理

長短期記憶網絡 ——通常簡稱“LSTMs”，是一種特殊的RNN，能夠學習長期依賴關系，它可以橋接超過1000步的時間間隔的信息。LSTM由Hochreiter和Schmidhuber （1997）提出，在后期工作中又由許多人進行了調整和普及（除了原始作者之外，許多人為現代LSTM做出了貢獻）。LSTM在各種各樣的問題上工作非常好，現在被廣泛使用。

LSTMs被設計出來是為了避免長期的依賴性問題，記憶長時間的信息實際上是他們的固有行為，而不是去學習，這點和傳統的具有強大的表征學習能力的深度神經網絡不同。

所有的RNNs（包括LSTM）都具有一連串重復神經網絡模塊的形式。在標準的RNNs中，這種重復模塊有一種非常簡單的結構，比如單個tanh層：

什么是tanh？ 中文叫雙曲正切函數，屬于神經網絡隱藏層的activation function（激活函數）中的一種。別以為是什么好厲害的東西，其實就是一個簡單的以原點對稱的值域為[-1,1]的非線性函數。而神經網絡中比較常見的另外一個激活函數 sigmoid 函數 ，則不過是把tanh函數往上平移到[0，1]的區間，這個函數在LSTM也會用到。

LSTM也有像RNN這樣的鏈式結構，只不過重復模塊有著與傳統的RNN不同的結構，比傳統的RNN復雜不少：不只是有一個神經網絡層，而是有四個神經網絡層，以一個非常特殊的方式進行交互。

不用擔心看不懂細節部分是什么意思，稍后我們將逐步瀏覽LSTM圖。現在，讓我們試著去熟悉我們將要使用的符號。

在上面所示的圖中，我們對以上符號進行如下定義：

黃塊表示學習神經網絡層（tanh層或sigmoid層）；
粉色圓圈表示按位操作，如向量加法或者向量點乘；
每條線代表著一整個向量（vector），用來表示從一個節點的輸出到另一個節點的輸入；
合并的線代表連接或者說是拼接;
分叉表示其內容被復制，復制內容將轉到不同的位置

LSTMs背后的核心理念

LSTMs的關鍵是細胞狀態（cell state），是一條水平線，貫穿圖的頂部。而Cell 的狀態就像是傳送帶，它的狀態會沿著整條鏈條傳送，而只有少數地方有一些線性交互。

因此“門”就是LSTM控制信息通過的方式，這里的 ” σ “ 指的是 sigmoid 函數。Sigmoid 層的輸出值在 0 到 1 間，表示每個部分所通過的信息。 “0” 意味 著“讓任何事情無法通過”或者說成”忘記所有的事“； “ 1 ”意味 著”讓一切都通過！“ 或者說”我要記住這一切! “

一個 LSTM 有三個這樣的門，分別是“輸入門”、遺忘門“和 ”輸出門“，在單一模塊里面控制 cell 的狀態。

遺忘門

首先，LSTM 的第一步就是讓信息通過”遺忘門“， 決定需要從 cell 中忘掉哪些信息 。它的輸入是 ht-1 和 xt。另外，我們之所以使用sigmoid激活函數是因為我們所需要的數字介于0至1之間。Ct?1 就是每個在 cell 中所有在 0 和 1 之間的數值，就像我們剛剛所說的，0 代表全拋棄，1 代表全保留。

看到這里應該有朋友會 問什么是ht ，ht是LSTM層在t時刻的輸出，但不是最終的輸出，ht僅僅是LSTM層輸出的向量，要想得到最終的結果 還要連接一個softmax層 （sigmoid函數的輸出是”0“”1“，但是使用softmax函數能在三個類別以上的時候輸出相應的概率以解決多分類問題），而x就是我們的輸入，是一個又一個的詞語。

輸入門

下一步，我們需要 決定什么樣的信息應該被存儲起來 。這個過程主要分兩步。 首先是 sigmoid 層 （這就是“輸入門”）決定我們需要更新哪些值； 隨后， tanh 層 生成了一個新的“候選添加記憶” C`t， 最后，我們將這兩個值結合起來 。結合后能夠加入cell的狀態（長期記憶）中。

接下來我們可以更新 cell （長期記憶）的狀態了。首先第一步將舊狀態與通過遺忘門得到的 ft 相乘，忘記此前我們想要忘記的內容，然后加上通過輸入門和tanh層得到的候選記憶 C`t。在忘記我們認為不再需要的記憶并保存輸入信息的有用部分后，我們就會得到更新后的長期記憶。

輸出門

接下來我們來更新一下ht，即輸出的內容，這部分由輸出門來完成。首先，我們把 cell 狀態通過 tanh 函數，將輸出值保持在-1 到 1 間。隨后，前一時刻的輸出ht-1和xt會通過一個 sigmoid 層，決定 cell 狀態輸出哪一部分。之后，我們再乘以 sigmoid 門的輸出值，就可以得到結果了。

R上用LSTM做情感分類

max_features <- 20000
batch_size <- 32

# Cut texts after this number of words (among top max_features most common words)
maxlen <- 80  cat('Loading data...\n')

imdb <- dataset_imdb(num_words = max_features)
x_train <- imdb$train$x
y_train <- imdb$train$y
x_test <- imdb$test$x
y_test <- imdb$test$y
view(x_train)

IMDB數據集包含有2.5萬條電影評論 ，被標記為積極和消極。影評會經過預處理，把每一條影評編碼為一個詞索引(數字)sequence(前面的一種word embeddings方法）。

cat(length(x_train), 'train sequences\n')
cat(length(x_test), 'test sequences\n')
cat('Pad sequences (samples x time)\n')

x_train <- pad_sequences(x_train, maxlen = maxlen)
x_test <- pad_sequences(x_test, maxlen = maxlen)

cat('x_train shape:', dim(x_train), '\n')
cat('x_test shape:', dim(x_test), '\n')

cat('Build model...\n')
model <- keras_model_sequential()
model %>%
  layer_embedding(input_dim = max_features, output_dim = 128) %>% 
  layer_lstm(units = 64, dropout = 0.2, recurrent_dropout = 0.2) %>% 
  layer_dense(units = 1, activation = 'sigmoid')

當然，可以嘗試使用不同的優化器和不同的優化器配置：

model %>% compile(
  loss = 'binary_crossentropy',
  optimizer = 'adam',
  metrics = c('accuracy')
)

cat('Train...\n')
model %>% fit(
  x_train, y_train,
  batch_size = batch_size,
  epochs = 15,
  validation_data = list(x_test, y_test)
)

上面代碼的訓練過程如下圖所示（我電腦大概用了20min）：

# 模型的準確度度量
scores <- model %>% evaluate(
  x_test, y_test,
  batch_size = batch_size
)

cat('Test score:', scores[[1]])
cat('Test accuracy', scores[[2]])

接下來，我們再對比其他模型，不妨以隨機森林為例：

library(randomForest)

y_train <- as.factor(y_train)
y_test <- as.factor(y_test)
rf <- randomForest(x=x_train,y=y_train,ntree=1000)
predict <- predict(rf,newdata=x_test)

很顯然，集成算法隨機森林遠遠沒有LSTM出來的效果好。今天關于基于R語言的深度學習就介紹到這里。最后，很高興和大家一起學習R上的深度學習。

參考資料

https://tensorflow.rstudio.com/keras/articles/examples/imdb_lstm.html

http://colah.github.io/posts/2015-08-Understanding-LSTMs/

來自：https://mp.weixin.qq.com/s/tL2uFJV7EISa6WjbJaVa6g

本文由用戶 JuanCtt 自行上傳分享，僅供網友學習交流。所有權歸原作者，若您的權利被侵害，請聯系管理員。

轉載本站原創文章，請注明出處，并保留原始鏈接、圖片水印。

本站是一個以用戶分享為主的開源技術平臺，歡迎各類分享！

本文地址：http://www.baiduhome.net/lib/view/open1514963873382.html

深度學習情感分析