9大Java開源中文分詞器的使用方法和分詞效果對比
本文的目標有兩個：
1、學會使用9大Java開源中文分詞器
2、對比分析9大Java開源中文分詞器的分詞效果
9大Java開源中文分詞器，不同的分詞器有不同的用法，定義的接口也不一樣，我們先定義一個統一的接口：
/**
* 獲取文本的所有分詞結果, 對比不同分詞器結果
* @author 楊尚川
*/
public interface WordSegmenter {
/**
* 獲取文本的所有分詞結果
* @param text 文本
* @return 所有的分詞結果，去除重復
*/
default public Set<String> seg(String text) {
return segMore(text).values().stream().collect(Collectors.toSet());
}
/**
* 獲取文本的所有分詞結果
* @param text 文本
* @return 所有的分詞結果，KEY 為分詞器模式，VALUE 為分詞器結果
*/
public Map<String, String> segMore(String text);
} 從上面的定義我們知道，在Java中，同樣的方法名稱和參數，但是返回值不同，這種情況不可以使用重載。
這兩個方法的區別在于返回值，每一個分詞器都可能有多種分詞模式，每種模式的分詞結果都可能不相同，第一個方法忽略分詞器模式，返回所有模式的所有不重復分詞結果，第二個方法返回每一種分詞器模式及其對應的分詞結果。
在這里，需要注意的是我們使用了Java8中的新特性默認方法，并使用stream把一個map的value轉換為不重復的集合。
下面我們利用這9大分詞器來實現這個接口：
1、word分詞器
@Override
public Map<String, String> segMore(String text) {
Map<String, String> map = new HashMap<>();
for(SegmentationAlgorithm segmentationAlgorithm : SegmentationAlgorithm.values()){
map.put(segmentationAlgorithm.getDes(), seg(text, segmentationAlgorithm));
}
return map;
}
private static String seg(String text, SegmentationAlgorithm segmentationAlgorithm) {
StringBuilder result = new StringBuilder();
for(Word word : WordSegmenter.segWithStopWords(text, segmentationAlgorithm)){
result.append(word.getText()).append(" ");
}
return result.toString();
} 2、Ansj分詞器
@Override
public Map<String, String> segMore(String text) {
Map<String, String> map = new HashMap<>();
StringBuilder result = new StringBuilder();
for(Term term : BaseAnalysis.parse(text)){
result.append(term.getName()).append(" ");
}
map.put("BaseAnalysis", result.toString());
result.setLength(0);
for(Term term : ToAnalysis.parse(text)){
result.append(term.getName()).append(" ");
}
map.put("ToAnalysis", result.toString());
result.setLength(0);
for(Term term : NlpAnalysis.parse(text)){
result.append(term.getName()).append(" ");
}
map.put("NlpAnalysis", result.toString());
result.setLength(0);
for(Term term : IndexAnalysis.parse(text)){
result.append(term.getName()).append(" ");
}
map.put("IndexAnalysis", result.toString());
return map;
} 3、Stanford分詞器
private static CRFClassifier<CoreLabel> pkuCRFClassifier = null;
private static CRFClassifier<CoreLabel> ctbCRFClassifier = null;
static{
try{
String pku = "lib/stanford-segmenter-3.3.1/data/pku.gz";
String ctb = "lib/stanford-segmenter-3.3.1/data/ctb.gz";
//github單文件最大不能超過100m，所以分割文件存放，使用時再合并
//split(pku, 2);
//split(ctb, 2);
if(!Files.exists(Paths.get(pku))){
merge(pku, pku, 2);
}
if(!Files.exists(Paths.get(ctb))){
merge(ctb, ctb, 2);
}
pkuCRFClassifier = getCRFClassifier("pku");
ctbCRFClassifier = getCRFClassifier("ctb");
}catch(Exception e){
e.printStackTrace();
}
}
private static CRFClassifier<CoreLabel> getCRFClassifier(String lang){
Properties props = new Properties();
props.setProperty("sighanCorporaDict", "lib/stanford-segmenter-3.3.1/data");
props.setProperty("NormalizationTable", "lib/stanford-segmenter-3.3.1/data/norm.simp.utf8");
props.setProperty("normTableEncoding", "UTF-8");
// below is needed because CTBSegDocumentIteratorFactory accesses it
props.setProperty("serDictionary","lib/stanford-segmenter-3.3.1/data/dict-chris6.ser.gz");
props.setProperty("inputEncoding", "UTF-8");
props.setProperty("sighanPostProcessing", "true");
final CRFClassifier<CoreLabel> segmenter = new CRFClassifier<>(props);
segmenter.loadClassifierNoExceptions("lib/stanford-segmenter-3.3.1/data/"+lang+".gz", props);
return segmenter;
}
private static void split(String file, int splitCount) throws Exception {
long length;
long size;
try (RandomAccessFile raf = new RandomAccessFile(new File(file), "r")) {
length = raf.length();
size = length / splitCount;
}
long offset = 0L;
for (int i = 0; i < splitCount - 1; i++){
long fbegin = offset;
long fend = (i + 1) * size;
offset = write(file, i, fbegin, fend);
}
if (length - offset > 0){
write(file, splitCount - 1, offset, length);
}
}
private static void merge(String file, String splitFiles, int splitCount) throws Exception {
try (RandomAccessFile raf = new RandomAccessFile(new File(file), "rw")) {
for (int i = 0; i < splitCount; i++) {
try (RandomAccessFile reader = new RandomAccessFile(new File(splitFiles + "_" + i), "r")) {
byte[] b = new byte[4096];
int n = -1;
while ((n = reader.read(b)) != -1) {
raf.write(b, 0, n);
}
}
}
}
}
private static long write(String file, int index, long begin, long end) throws Exception {
long endPointer;
try (RandomAccessFile in = new RandomAccessFile(new File(file), "r");
RandomAccessFile out = new RandomAccessFile(new File(file + "_" + index), "rw")) {
byte[] b = new byte[4096];
int n = 0;
in.seek(begin);
while (in.getFilePointer() <= end && (n = in.read(b)) != -1) {
out.write(b, 0, n);
} endPointer = in.getFilePointer();
}
return endPointer;
}
@Override
public Map<String, String> segMore(String text) {
Map<String, String> map = new HashMap<>();
map.put("Stanford Beijing University segmentation", seg(pkuCRFClassifier, text));
map.put("Stanford Chinese Treebank segmentation", seg(ctbCRFClassifier, text));
return map;
}
private static String seg(CRFClassifier<CoreLabel> crfClassifier, String text){
StringBuilder result = new StringBuilder();
for(String word : crfClassifier.segmentString(text)){
result.append(word).append(" ");
}
return result.toString();
} 4、FudanNLP分詞器
private static CWSTagger tagger = null;
static{
try{
tagger = new CWSTagger("lib/fudannlp_seg.m");
tagger.setEnFilter(true);
}catch(Exception e){
e.printStackTrace();
}
}
@Override
public Map<String, String> segMore(String text) {
Map<String, String> map = new HashMap<>();
map.put("FudanNLP", tagger.tag(text));
return map;
} 5、Jieba分詞器
private static final JiebaSegmenter JIEBA_SEGMENTER = new JiebaSegmenter();
@Override
public Map<String, String> segMore(String text) {
Map<String, String> map = new HashMap<>();
map.put("INDEX", seg(text, JIEBA_SEGMENTER, SegMode.INDEX));
map.put("SEARCH", seg(text, JIEBA_SEGMENTER, SegMode.SEARCH));
return map;
}
public String seg(String text, JiebaSegmenter segmenter, SegMode segMode) {
StringBuilder result = new StringBuilder();
for(SegToken token : segmenter.process(text, segMode)){
result.append(token.token).append(" ");
}
return result.toString();
} 6、Jcseg分詞器
private static final JcsegTaskConfig CONFIG = new JcsegTaskConfig();
private static final ADictionary DIC = DictionaryFactory.createDefaultDictionary(CONFIG);
static {
CONFIG.setLoadCJKSyn(false);
CONFIG.setLoadCJKPinyin(false);
}
@Override
public Map<String, String> segMore(String text) {
Map<String, String> map = new HashMap<>();
map.put("復雜模式", segText(text, JcsegTaskConfig.COMPLEX_MODE));
map.put("簡易模式", segText(text, JcsegTaskConfig.SIMPLE_MODE));
return map;
}
private String segText(String text, int segMode) {
StringBuilder result = new StringBuilder();
try {
ISegment seg = SegmentFactory.createJcseg(segMode, new Object[]{new StringReader(text), CONFIG, DIC});
IWord word = null;
while((word=seg.next())!=null) {
result.append(word.getValue()).append(" ");
}
} catch (Exception ex) {
throw new RuntimeException(ex);
}
return result.toString();
} 7、MMSeg4j分詞器
private static final Dictionary DIC = Dictionary.getInstance();
private static final SimpleSeg SIMPLE_SEG = new SimpleSeg(DIC);
private static final ComplexSeg COMPLEX_SEG = new ComplexSeg(DIC);
private static final MaxWordSeg MAX_WORD_SEG = new MaxWordSeg(DIC);
@Override
public Map<String, String> segMore(String text) {
Map<String, String> map = new HashMap<>();
map.put(SIMPLE_SEG.getClass().getSimpleName(), segText(text, SIMPLE_SEG));
map.put(COMPLEX_SEG.getClass().getSimpleName(), segText(text, COMPLEX_SEG));
map.put(MAX_WORD_SEG.getClass().getSimpleName(), segText(text, MAX_WORD_SEG));
return map;
}
private String segText(String text, Seg seg) {
StringBuilder result = new StringBuilder();
MMSeg mmSeg = new MMSeg(new StringReader(text), seg);
try {
Word word = null;
while((word=mmSeg.next())!=null) {
result.append(word.getString()).append(" ");
}
} catch (IOException ex) {
throw new RuntimeException(ex);
}
return result.toString();
} 8、IKAnalyzer分詞器
@Override
public Map<String, String> segMore(String text) {
Map<String, String> map = new HashMap<>();
map.put("智能切分", segText(text, true));
map.put("細粒度切分", segText(text, false));
return map;
}
private String segText(String text, boolean useSmart) {
StringBuilder result = new StringBuilder();
IKSegmenter ik = new IKSegmenter(new StringReader(text), useSmart);
try {
Lexeme word = null;
while((word=ik.next())!=null) {
result.append(word.getLexemeText()).append(" ");
}
} catch (IOException ex) {
throw new RuntimeException(ex);
}
return result.toString();
} 9、Paoding分詞器
private static final PaodingAnalyzer ANALYZER = new PaodingAnalyzer();
@Override
public Map<String, String> segMore(String text) {
Map<String, String> map = new HashMap<>();
map.put("MOST_WORDS_MODE", seg(text, PaodingAnalyzer.MOST_WORDS_MODE));
map.put("MAX_WORD_LENGTH_MODE", seg(text, PaodingAnalyzer.MAX_WORD_LENGTH_MODE));
return map;
}
private static String seg(String text, int mode){
ANALYZER.setMode(mode);
StringBuilder result = new StringBuilder();
try {
Token reusableToken = new Token();
TokenStream stream = ANALYZER.tokenStream("", new StringReader(text));
Token token = null;
while((token = stream.next(reusableToken)) != null){
result.append(token.term()).append(" ");
}
} catch (Exception ex) {
throw new RuntimeException(ex);
}
return result.toString();
} 現在我們已經實現了本文的第一個目的：學會使用9大Java開源中文分詞器。
最后我們來實現本文的第二個目的：對比分析9大Java開源中文分詞器的分詞效果，程序如下：
public static Map<String, Set<String>> contrast(String text){
Map<String, Set<String>> map = new LinkedHashMap<>();
map.put("word分詞器", new WordEvaluation().seg(text));
map.put("Stanford分詞器", new StanfordEvaluation().seg(text));
map.put("Ansj分詞器", new AnsjEvaluation().seg(text));
map.put("FudanNLP分詞器", new FudanNLPEvaluation().seg(text));
map.put("Jieba分詞器", new JiebaEvaluation().seg(text));
map.put("Jcseg分詞器", new JcsegEvaluation().seg(text));
map.put("MMSeg4j分詞器", new MMSeg4jEvaluation().seg(text));
map.put("IKAnalyzer分詞器", new IKAnalyzerEvaluation().seg(text));
map.put("Paoding分詞器", new PaodingEvaluation().seg(text));
return map;
}
public static Map<String, Map<String, String>> contrastMore(String text){
Map<String, Map<String, String>> map = new LinkedHashMap<>();
map.put("word分詞器", new WordEvaluation().segMore(text));
map.put("Stanford分詞器", new StanfordEvaluation().segMore(text));
map.put("Ansj分詞器", new AnsjEvaluation().segMore(text));
map.put("FudanNLP分詞器", new FudanNLPEvaluation().segMore(text));
map.put("Jieba分詞器", new JiebaEvaluation().segMore(text));
map.put("Jcseg分詞器", new JcsegEvaluation().segMore(text));
map.put("MMSeg4j分詞器", new MMSeg4jEvaluation().segMore(text));
map.put("IKAnalyzer分詞器", new IKAnalyzerEvaluation().segMore(text));
map.put("Paoding分詞器", new PaodingEvaluation().segMore(text));
return map;
}
public static void show(Map<String, Set<String>> map){
map.keySet().forEach(k -> {
System.out.println(k + " 的分詞結果：");
AtomicInteger i = new AtomicInteger();
map.get(k).forEach(v -> {
System.out.println("\t" + i.incrementAndGet() + " 、" + v);
});
});
}
public static void showMore(Map<String, Map<String, String>> map){
map.keySet().forEach(k->{
System.out.println(k + " 的分詞結果：");
AtomicInteger i = new AtomicInteger();
map.get(k).keySet().forEach(a -> {
System.out.println("\t" + i.incrementAndGet()+ " 、【" + a + "】\t" + map.get(k).get(a));
});
});
}
public static void main(String[] args) {
show(contrast("楊尚川是APDPlat應用級產品開發平臺的作者"));
showMore(contrastMore("楊尚川是APDPlat應用級產品開發平臺的作者"));
} 運行結果如下：
word分詞器 的分詞結果：
1 、楊尚川 是 APDPlat 應用 級 產品 開發 平臺 的 作者
2 、楊尚川 是 apdplat 應用級 產品 開發平臺 的 作者
3 、楊尚川 是 apdplat 應用 級 產品 開發 平臺 的 作者
4 、楊尚川 是 apdplat 應用級 產品 開發 平臺 的 作者
Stanford分詞器 的分詞結果：
1 、楊 尚 川 是 APDPlat 應用 級 產品 開發 平臺 的 作者
2 、楊 尚川 是 APDPlat 應用 級 產品 開發 平臺 的 作者
Ansj分詞器 的分詞結果：
1 、楊 尚 川 是 apdplat 應用 級 產品 開發 平臺 的 作者
2 、楊 楊尚川 尚 川 是 apdplat 應用 級 產品 開發 平臺 的 作者
3 、楊尚川 是 apdplat 應用 級 產品 開發 平臺 的 作者
4 、楊尚川 是 apdplat 應用級 產品 開發 平臺 的 作者
FudanNLP分詞器 的分詞結果：
1 、楊尚川 是 APDPlat應 用級 產品 開發 平臺 的 作者
Jieba分詞器 的分詞結果：
1 、楊尚川 是 apdplat 應用 級 產品 開發 產品開發 平臺 的 作者
2 、楊尚川 是 apdplat 應用 級 產品開發 平臺 的 作者
Jcseg分詞器 的分詞結果：
1 、楊 尚 川 是 apdplat 應用 級 產品 開發 平臺 的 作者
2 、楊 尚川 是 apdplat 應用 級 產品 開發 平臺 的 作者
MMSeg4j分詞器 的分詞結果：
1 、楊 尚 川 是 apdplat 應用 級 產品 開發 平臺 的 作者
IKAnalyzer分詞器 的分詞結果：
1 、楊 尚 川 是 apdplat 應用 級 產品 開發 平臺 的 作者
Paoding分詞器 的分詞結果：
1 、楊尚 尚川 apdplat 應用 級 產品 開發 平臺 作者 word分詞器 的分詞結果：
1 、【全切分算法】 楊尚川 是 APDPlat 應用 級 產品 開發 平臺 的 作者
2 、【雙向最大最小匹配算法】 楊尚川 是 apdplat 應用 級 產品 開發 平臺 的 作者
3 、【正向最大匹配算法】 楊尚川 是 apdplat 應用級 產品 開發平臺 的 作者
4 、【雙向最大匹配算法】 楊尚川 是 apdplat 應用級 產品 開發平臺 的 作者
5 、【逆向最大匹配算法】 楊尚川 是 apdplat 應用級 產品 開發平臺 的 作者
6 、【正向最小匹配算法】 楊尚川 是 apdplat 應用 級 產品 開發 平臺 的 作者
7 、【雙向最小匹配算法】 楊尚川 是 apdplat 應用 級 產品 開發 平臺 的 作者
8 、【逆向最小匹配算法】 楊尚川 是 apdplat 應用級 產品 開發 平臺 的 作者
Stanford分詞器 的分詞結果：
1 、【Stanford Chinese Treebank segmentation】 楊 尚 川 是 APDPlat 應用 級 產品 開發 平臺 的 作者
2 、【Stanford Beijing University segmentation】 楊 尚川 是 APDPlat 應用 級 產品 開發 平臺 的 作者
Ansj分詞器 的分詞結果：
1 、【BaseAnalysis】 楊 尚 川 是 apdplat 應用 級 產品 開發 平臺 的 作者
2 、【IndexAnalysis】 楊 楊尚川 尚 川 是 apdplat 應用 級 產品 開發 平臺 的 作者
3 、【ToAnalysis】 楊尚川 是 apdplat 應用 級 產品 開發 平臺 的 作者
4 、【NlpAnalysis】 楊尚川 是 apdplat 應用級 產品 開發 平臺 的 作者
FudanNLP分詞器 的分詞結果：
1 、【FudanNLP】 楊尚川 是 APDPlat應 用級 產品 開發 平臺 的 作者
Jieba分詞器 的分詞結果：
1 、【SEARCH】 楊尚川 是 apdplat 應用 級 產品開發 平臺 的 作者
2 、【INDEX】 楊尚川 是 apdplat 應用 級 產品 開發 產品開發 平臺 的 作者
Jcseg分詞器 的分詞結果：
1 、【簡易模式】 楊 尚 川 是 apdplat 應用 級 產品 開發 平臺 的 作者
2 、【復雜模式】 楊 尚川 是 apdplat 應用 級 產品 開發 平臺 的 作者
MMSeg4j分詞器 的分詞結果：
1 、【SimpleSeg】 楊 尚 川 是 apdplat 應用 級 產品 開發 平臺 的 作者
2 、【ComplexSeg】 楊 尚 川 是 apdplat 應用 級 產品 開發 平臺 的 作者
3 、【MaxWordSeg】 楊 尚 川 是 apdplat 應用 級 產品 開發 平臺 的 作者
IKAnalyzer分詞器 的分詞結果：
1 、【智能切分】 楊 尚 川 是 apdplat 應用 級 產品 開發 平臺 的 作者
2 、【細粒度切分】 楊 尚 川 是 apdplat 應用 級 產品 開發 平臺 的 作者
Paoding分詞器 的分詞結果：
1 、【MAX_WORD_LENGTH_MODE】 楊尚 尚川 apdplat 應用 級 產品 開發 平臺 作者
2 、【MOST_WORDS_MODE】 楊尚 尚川 apdplat 應用 級 產品 開發 平臺 作者
完整代碼看這里 來自：
本文由用戶 yn6e 自行上傳分享，僅供網友學習交流。所有權歸原作者，若您的權利被侵害，請聯系管理員。
轉載本站原創文章，請注明出處，并保留原始鏈接、圖片水印。
本站是一個以用戶分享為主的開源技術平臺，歡迎各類分享！