snownlp：簡體中文處理Python庫
SnowNLP是一個python寫的類庫，可以方便的處理中文文本內容，是受到了TextBlob的啟發而寫的，由于現在大部分的自然語言處理庫基本都是針對英文的，于是寫了一個方便處理中文的類庫，并且和TextBlob不同的是，這里沒有用NLTK，所有的算法都是自己實現的，并且自帶了一些訓練好的字典。注意本程序都是處理的unicode編碼，所以使用時請自行decode成unicode。
from snownlp import SnowNLP s = SnowNLP(u'這個東西真心很贊') s.words # [u'這個', u'東西', u'真心',u'很', u'贊']
s.tags # [(u'這個', u'r'), (u'東西', u'n'),
(u'真心', u'd'), (u'很', u'd'),
(u'贊', u'Vg')]
s.sentiments # 0.9769663402895832 positive的概率 s.pinyin # [u'zhe', u'ge', u'dong', u'xi',
u'zhen', u'xin', u'hen', u'zan']
s = SnowNLP(u'「繁體字」「繁體中文」的叫法在臺灣亦很常見。') s.han # u'「繁體字」「繁體中文」的叫法
在臺灣亦很常見。'
text = u''' 自然語言處理是計算機科學領域與人工智能領域中的一個重要方向。 它研究能實現人與計算機之間用自然語言進行有效通信的各種理論和方法。 自然語言處理是一門融語言學、計算機科學、數學于一體的科學。 因此，這一領域的研究將涉及自然語言，即人們日常使用的語言， 所以它與語言學的研究有著密切的聯系，但又有重要的區別。 自然語言處理并不是一般地研究自然語言， 而在于研制能有效地實現自然語言通信的計算機系統， 特別是其中的軟件系統。因而它是計算機科學的一部分。 ''' s = SnowNLP(text) s.keywords(3) # [u'語言', u'自然', u'計算機'] s.summary(3) # [u'因而它是計算機科學的一部分',
u'自然語言處理是一門融語言學、計算機科學、
數學于一體的科學',
u'自然語言處理是計算機科學領域與人工智能
領域中的一個重要方向']
s.sentences s = SnowNLP([[u'這篇', u'文章'], [u'那篇', u'論文'], [u'這個']]) s.tf s.idf s.sim([u'文章'])# [0.3756070762985226, 0, 0]</pre>
Features
- 中文分詞（ Character-Based Generative Model ）
- 詞性標注（ TnT 3-gram 隱馬）
- 情感分析（現在訓練數據主要是買賣東西時的評價，所以對其他的一些可能效果不是很好，待解決）
- 文本分類（Naive Bayes）
- 轉換成拼音（Trie樹實現的最大匹配）
- 繁體轉簡體（Trie樹實現的最大匹配）
- 提取文本關鍵詞（ TextRank 算法）
- 提取文本摘要（ TextRank 算法）
- tf，idf
- Tokenization（分割成句子）
- 文本相似（ BM25 ）
- 支持python3（感謝erning） </ul>
Get It now
$ pip install snownlp 關于訓練
現在提供訓練的包括分詞，詞性標注，情感分析，而且都提供了我用來訓練的原始文件 以分詞為例 分詞在snownlp/seg目錄下
from snownlp import seg
seg.train('data.txt')
seg.save('seg.marshal')
from snownlp import tag
tag.train('199801.txt')
tag.save('tag.marshal')
from snownlp import sentiment
sentiment.train('neg.txt', 'pos.txt')
sentiment.save('sentiment.marshal')</pre>
這樣訓練好的文件就存儲為seg.marshal了，之后修改snownlp/seg/init.py里的data_path指向剛訓練好的文件即可
項目主頁：http://www.baiduhome.net/lib/view/home/1440989743206