Go中文分詞：sego

jopen 10年前發布 | 24K 次閱讀 sego 中文分詞

Go中文分詞

詞典用前綴樹實現，分詞器算法為基于詞頻的最短路徑加動態規劃。

支持普通和搜索引擎兩種分詞模式，支持用戶詞典、詞性標注，可運行JSON RPC服務。

分詞速度單線程2.7MB/s，goroutines并發13MB/s, 處理器Core i7-3615QM 2.30GHz 8核。

在線演示地址 http://sego.weiboglass.com

使用

package main

import (
    "fmt"
    "github.com/huichen/sego"
)

func main() {
    // 載入詞典
    var segmenter sego.Segmenter
    segmenter.LoadDictionary("github.com/huichen/sego/data/dictionary.txt")

    // 分詞
    text := []byte("中華人民共和國中央人民政府")
    segments := segmenter.Segment(text)

    // 處理分詞結果
    // 支持普通模式和搜索模式兩種分詞，見代碼中SegmentsToString函數的注釋。
    fmt.Println(sego.SegmentsToString(segments, false)) 
}

項目主頁：http://www.baiduhome.net/lib/view/home/1410329990851

 本文由用戶 jopen 自行上傳分享，僅供網友學習交流。所有權歸原作者，若您的權利被侵害，請聯系管理員。
 轉載本站原創文章，請注明出處，并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺，歡迎各類分享！