基于CRFs的中文分詞系統：Chinese Segmentor

Chinese Segmentor是什么?

Chinese Segmentor基于CRFs的中文分詞系統，使用sgd訓練，速度快，并且支持Online learning和Incremental learning，同時可以使用hadoop實現并行訓練

Chinese Segmentor有哪些特性？

• 訓練速度快

• 支持大規模數據的訓練

• N-best輸出

• 可視化展示切分（解碼）過程

安裝

安裝依賴的DoubleArrayTrie

參考DoubleArrayTrie的文檔

安裝

• 下載最新代碼
• mvn clean compile assembly:single

用法

查看幫助

java -cp target/chinesesegmentor-1.0-jar-with-dependencies.jar com.antbrains.crf.SgdCrf

Usage:
    SgdCrf help
    SgdCrf train    [encoding]
    SgdCrf train2    [encoding]
    SgdCrf hdfs-train     [encoding] [hdfsconf1] [hdfsconf2] ...
    SgdCrf test    [encoding]
    SgdCrf tag  [nBest] [encoding]

訓練數據格式

目前支持兩種格式的訓練數據：CRF++格式的數據；tab分割的數據。

人民日報的數據已經被處理成合適的格式了，使用了6標簽：B E S B1 B2 M，即單字詞為S，兩字詞為B E，三字詞為B B1 E，四字詞為 B B1 B2 E，五字詞為B B1 B2 M E，...

項目主頁：http://www.baiduhome.net/lib/view/home/1397011641856