中文文本處理Python類庫：SnowNLP

SnowNLP是一個python寫的類庫，可以方便的處理中文文本內容，是受到了TextBlob的啟發而寫的，由于現在大部分的自然語言處理庫基本都是針對英文的，于是寫了一個方便處理中文的類庫，并且和TextBlob不同的是，這里沒有用 NLTK，所有的算法都是自己實現的，并且自帶了一些訓練好的字典。注意本程序都是處理的unicode編碼，所以使用時請自行decode成 unicode。

from snownlp import SnowNLP

s = SnowNLP(u'這個東西真心很贊')
s.words         # [u'這個', u'東西', u'真心',

            #  u'很', u'贊']


s.tags          # [(u'這個', u'r'), (u'東西', u'n'),

            #  (u'真心', u'd'), (u'很', u'd'),
            #  (u'贊', u'Vg')]


s.sentiments    # 0.9911384166031976 positive的概率
s.pinyin        # [u'zhe', u'ge', u'dong', u'xi',

            #  u'zhen', u'xin', u'hen', u'zan']


s = SnowNLP(u'「繁體字」「繁體中文」的叫法在臺灣亦很常見。')
s.han           # u'「繁體字」「繁體中文」的叫法

            # 在臺灣亦很常見。'


text = u'''
自然語言處理是計算機科學領域與人工智能領域中的一個重要方向。
它研究能實現人與計算機之間用自然語言進行有效通信的各種理論和方法。
自然語言處理是一門融語言學、計算機科學、數學于一體的科學。
因此，這一領域的研究將涉及自然語言，即人們日常使用的語言，
所以它與語言學的研究有著密切的聯系，但又有重要的區別。
自然語言處理并不是一般地研究自然語言，
而在于研制能有效地實現自然語言通信的計算機系統，
特別是其中的軟件系統。因而它是計算機科學的一部分。
'''
s = SnowNLP(text)
s.keywords(3)   # [u'語言', u'自然', u'計算機']
s.summary(3)    # [u'自然語言處理是一門融語言學、計算機科學、

            #    數學于一體的科學',
            #  u'即人們日常使用的語言',
            #  u'自然語言處理是計算機科學領域與人工智能
            #    領域中的一個重要方向']

s.sentences
s = SnowNLP([[u'這篇', u'文章'],
             [u'那篇', u'論文'],
             [u'這個']])
s.tf
s.idf
s.sim([u'文章'])# [0.3756070762985226, 0, 0]</pre> 
Features


中文分詞（TnT 3-gram 隱馬）
詞性標準（TnT 3-gram 隱馬）
情感分析
文本分類（Naive Bayes）
轉換成拼音
繁體轉簡體
提取文本關鍵詞（TextRank算法）
提取文本摘要（TextRank算法）
tf，idf
Tokenization（分割成句子）
文本相似（BM25）
支持python3（感謝erning）

項目主頁：http://www.baiduhome.net/lib/view/home/1386656752830