http協議中文分詞 http-scws 更新
http-scws(基于scws的http協議中文分詞),軟件基于scws 1.1.7版本二次開發,基于libevent進行http封裝,請求更簡單
功能:
1.詞庫為文本文件方式,增加、刪除更方便
2.支持gbk與utf-8(基于scws功能)
3.運行中可修改詞庫,不停服務只需一個命令即可使新詞庫生效
4.最大150K文本提交
5.可分詞、提取高頻詞
6.支持GET與POST方式
7.支持短詞、二元、主要單字、全部單字(基于scws功能)
8.支持標點過濾(基于scws功能)
簡單測試結果:
AMD 64位臺式機四核CPU,程序加載詞庫后占用21M內存,使用10進程不間斷請求請求,內存無增加,CPU使用率在30%多
此項目開源,壓縮包里有源代碼及編譯后的程序,有特殊需要的可自行修改源程序,編譯后程序的編譯環境為:amd 64位 4核CPU,centos 5.5 64位系統,內核為:2.6.18-194.el5。
本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!