11大Java开源中文分词器的使用方法和分词效果对比
博客专区 > Airship 的博客 > 博客详情
11大Java开源中文分词器的使用方法和分词效果对比
Airship 发表于4个月前
11大Java开源中文分词器的使用方法和分词效果对比
  • 发表于 4个月前
  • 阅读 40
  • 收藏 2
  • 点赞 0
  • 评论 0

腾讯云 技术升级10大核心产品年终让利>>>   

本文的目标有两个:

1、学会使用11大Java开源中文分词器

2、对比分析11大Java开源中文分词器的分词效果

本文给出了11大Java开源中文分词的使用方法以及分词结果对比代码,至于效果哪个好,那要用的人结合自己的应用场景自己来判断。

11大Java开源中文分词器,不同的分词器有不同的用法,定义的接口也不一样,我们先定义一个统一的接口:

Java代码

 收藏代码

  1. /** 
  2.  * 获取文本的所有分词结果, 对比不同分词器结果 
  3.  * @author 杨尚川 
  4.  */  
  5. public interface WordSegmenter {  
  6.     /** 
  7.      * 获取文本的所有分词结果 
  8.      * @param text 文本 
  9.      * @return 所有的分词结果,去除重复 
  10.      */  
  11.     default public Set<String> seg(String text) {  
  12.         return segMore(text).values().stream().collect(Collectors.toSet());  
  13.     }  
  14.     /** 
  15.      * 获取文本的所有分词结果 
  16.      * @param text 文本 
  17.      * @return 所有的分词结果,KEY 为分词器模式,VALUE 为分词器结果 
  18.      */  
  19.     public Map<String, String> segMore(String text);  
  20. }  

 

 

从上面的定义我们知道,在Java中,同样的方法名称和参数,但是返回值不同,这种情况不可以使用重载。

这两个方法的区别在于返回值,每一个分词器都可能有多种分词模式,每种模式的分词结果都可能不相同,第一个方法忽略分词器模式,返回所有模式的所有不重复分词结果,第二个方法返回每一种分词器模式及其对应的分词结果。

在这里,需要注意的是我们使用了Java8中的新特性默认方法,并使用stream把一个map的value转换为不重复的集合。

 

下面我们利用这11大分词器来实现这个接口:

1、word分词器

Java代码

 收藏代码

  1. @Override  
  2. public Map<String, String> segMore(String text) {  
  3.     Map<String, String> map = new HashMap<>();  
  4.     for(SegmentationAlgorithm segmentationAlgorithm : SegmentationAlgorithm.values()){  
  5.         map.put(segmentationAlgorithm.getDes(), seg(text, segmentationAlgorithm));  
  6.     }  
  7.     return map;  
  8. }  
  9. private static String seg(String text, SegmentationAlgorithm segmentationAlgorithm) {  
  10.     StringBuilder result = new StringBuilder();  
  11.     for(Word word : WordSegmenter.segWithStopWords(text, segmentationAlgorithm)){  
  12.         result.append(word.getText()).append(" ");  
  13.     }  
  14.     return result.toString();  
  15. }  

 

 

2、Ansj分词器

Java代码

 收藏代码

  1. @Override  
  2. public Map<String, String> segMore(String text) {  
  3.     Map<String, String> map = new HashMap<>();  
  4.   
  5.     StringBuilder result = new StringBuilder();  
  6.     for(Term term : BaseAnalysis.parse(text)){  
  7.         result.append(term.getName()).append(" ");  
  8.     }  
  9.     map.put("BaseAnalysis", result.toString());  
  10.   
  11.     result.setLength(0);  
  12.     for(Term term : ToAnalysis.parse(text)){  
  13.         result.append(term.getName()).append(" ");  
  14.     }  
  15.     map.put("ToAnalysis", result.toString());  
  16.   
  17.     result.setLength(0);  
  18.     for(Term term : NlpAnalysis.parse(text)){  
  19.         result.append(term.getName()).append(" ");  
  20.     }  
  21.     map.put("NlpAnalysis", result.toString());  
  22.   
  23.     result.setLength(0);  
  24.     for(Term term : IndexAnalysis.parse(text)){  
  25.         result.append(term.getName()).append(" ");  
  26.     }  
  27.     map.put("IndexAnalysis", result.toString());  
  28.   
  29.     return map;  
  30. }  

 

 

3、Stanford分词器

Java代码

 收藏代码

  1. private static final StanfordCoreNLP CTB = new StanfordCoreNLP("StanfordCoreNLP-chinese-ctb");  
  2. private static final StanfordCoreNLP PKU = new StanfordCoreNLP("StanfordCoreNLP-chinese-pku");  
  3. private static final PrintStream NULL_PRINT_STREAM = new PrintStream(new NullOutputStream(), false);  
  4. public Map<String, String> segMore(String text) {  
  5.     Map<String, String> map = new HashMap<>();  
  6.     map.put("Stanford Beijing University segmentation", seg(PKU, text));  
  7.     map.put("Stanford Chinese Treebank segmentation", seg(CTB, text));  
  8.     return map;  
  9. }  
  10. private static String seg(StanfordCoreNLP stanfordCoreNLP, String text){  
  11.     PrintStream err = System.err;  
  12.     System.setErr(NULL_PRINT_STREAM);  
  13.     Annotation document = new Annotation(text);  
  14.     stanfordCoreNLP.annotate(document);  
  15.     List<CoreMap> sentences = document.get(CoreAnnotations.SentencesAnnotation.class);  
  16.     StringBuilder result = new StringBuilder();  
  17.     for(CoreMap sentence: sentences) {  
  18.         for (CoreLabel token: sentence.get(CoreAnnotations.TokensAnnotation.class)) {  
  19.             String word = token.get(CoreAnnotations.TextAnnotation.class);;  
  20.             result.append(word).append(" ");  
  21.         }  
  22.     }  
  23.     System.setErr(err);  
  24.     return result.toString();  
  25. }  

 

4、FudanNLP分词器

Java代码

 收藏代码

  1. private static CWSTagger tagger = null;  
  2. static{  
  3.     try{  
  4.         tagger = new CWSTagger("lib/fudannlp_seg.m");  
  5.         tagger.setEnFilter(true);  
  6.     }catch(Exception e){  
  7.         e.printStackTrace();  
  8.     }  
  9. }  
  10. @Override  
  11. public Map<String, String> segMore(String text) {  
  12.     Map<String, String> map = new HashMap<>();  
  13.     map.put("FudanNLP", tagger.tag(text));  
  14.     return map;  
  15. }  

 

5、Jieba分词器

Java代码

 收藏代码

  1. private static final JiebaSegmenter JIEBA_SEGMENTER = new JiebaSegmenter();  
  2. @Override  
  3. public Map<String, String> segMore(String text) {  
  4.     Map<String, String> map = new HashMap<>();  
  5.     map.put("INDEX", seg(text, SegMode.INDEX));  
  6.     map.put("SEARCH", seg(text, SegMode.SEARCH));  
  7.     return map;  
  8. }  
  9. private static String seg(String text, SegMode segMode) {  
  10.     StringBuilder result = new StringBuilder();                  
  11.     for(SegToken token : JIEBA_SEGMENTER.process(text, segMode)){  
  12.         result.append(token.word.getToken()).append(" ");  
  13.     }  
  14.     return result.toString();   
  15. }  

 

6、Jcseg分词器

Java代码

 收藏代码

  1. private static final JcsegTaskConfig CONFIG = new JcsegTaskConfig();  
  2. private static final ADictionary DIC = DictionaryFactory.createDefaultDictionary(CONFIG);  
  3. static {  
  4.     CONFIG.setLoadCJKSyn(false);  
  5.     CONFIG.setLoadCJKPinyin(false);  
  6. }  
  7. @Override  
  8. public Map<String, String> segMore(String text) {  
  9.     Map<String, String> map = new HashMap<>();  
  10.   
  11.     map.put("复杂模式", segText(text, JcsegTaskConfig.COMPLEX_MODE));  
  12.     map.put("简易模式", segText(text, JcsegTaskConfig.SIMPLE_MODE));  
  13.   
  14.     return map;  
  15. }  
  16. private String segText(String text, int segMode) {  
  17.     StringBuilder result = new StringBuilder();          
  18.     try {  
  19.         ISegment seg = SegmentFactory.createJcseg(segMode, new Object[]{new StringReader(text), CONFIG, DIC});  
  20.         IWord word = null;  
  21.         while((word=seg.next())!=null) {           
  22.             result.append(word.getValue()).append(" ");  
  23.         }  
  24.     } catch (Exception ex) {  
  25.         throw new RuntimeException(ex);  
  26.     }  
  27.     return result.toString();  
  28. }  

 

7、MMSeg4j分词器

Java代码

 收藏代码

  1. private static final Dictionary DIC = Dictionary.getInstance();  
  2. private static final SimpleSeg SIMPLE_SEG = new SimpleSeg(DIC);  
  3. private static final ComplexSeg COMPLEX_SEG = new ComplexSeg(DIC);  
  4. private static final MaxWordSeg MAX_WORD_SEG = new MaxWordSeg(DIC);  
  5. @Override  
  6. public Map<String, String> segMore(String text) {  
  7.     Map<String, String> map = new HashMap<>();  
  8.     map.put(SIMPLE_SEG.getClass().getSimpleName(), segText(text, SIMPLE_SEG));  
  9.     map.put(COMPLEX_SEG.getClass().getSimpleName(), segText(text, COMPLEX_SEG));  
  10.     map.put(MAX_WORD_SEG.getClass().getSimpleName(), segText(text, MAX_WORD_SEG));  
  11.     return map;  
  12. }  
  13. private String segText(String text, Seg seg) {  
  14.     StringBuilder result = new StringBuilder();  
  15.     MMSeg mmSeg = new MMSeg(new StringReader(text), seg);          
  16.     try {  
  17.         Word word = null;  
  18.         while((word=mmSeg.next())!=null) {         
  19.             result.append(word.getString()).append(" ");  
  20.         }  
  21.     } catch (IOException ex) {  
  22.         throw new RuntimeException(ex);  
  23.     }  
  24.     return result.toString();  
  25. }  

 

8、IKAnalyzer分词器

Java代码

 收藏代码

  1. @Override  
  2. public Map<String, String> segMore(String text) {  
  3.     Map<String, String> map = new HashMap<>();  
  4.   
  5.     map.put("智能切分", segText(text, true));  
  6.     map.put("细粒度切分", segText(text, false));  
  7.   
  8.     return map;  
  9. }  
  10. private String segText(String text, boolean useSmart) {  
  11.     StringBuilder result = new StringBuilder();  
  12.     IKSegmenter ik = new IKSegmenter(new StringReader(text), useSmart);          
  13.     try {  
  14.         Lexeme word = null;  
  15.         while((word=ik.next())!=null) {            
  16.             result.append(word.getLexemeText()).append(" ");  
  17.         }  
  18.     } catch (IOException ex) {  
  19.         throw new RuntimeException(ex);  
  20.     }  
  21.     return result.toString();  
  22. }  

 

9、Paoding分词器

Java代码

 收藏代码

  1. private static final PaodingAnalyzer ANALYZER = new PaodingAnalyzer();  
  2. @Override  
  3. public Map<String, String> segMore(String text) {  
  4.     Map<String, String> map = new HashMap<>();  
  5.   
  6.     map.put("MOST_WORDS_MODE", seg(text, PaodingAnalyzer.MOST_WORDS_MODE));  
  7.     map.put("MAX_WORD_LENGTH_MODE", seg(text, PaodingAnalyzer.MAX_WORD_LENGTH_MODE));  
  8.       
  9.     return map;  
  10. }  
  11. private static String seg(String text, int mode){  
  12.     ANALYZER.setMode(mode);  
  13.     StringBuilder result = new StringBuilder();  
  14.     try {  
  15.         Token reusableToken = new Token();  
  16.         TokenStream stream = ANALYZER.tokenStream(""new StringReader(text));  
  17.         Token token = null;  
  18.         while((token = stream.next(reusableToken)) != null){  
  19.             result.append(token.term()).append(" ");  
  20.         }  
  21.     } catch (Exception ex) {  
  22.         throw new RuntimeException(ex);  
  23.     }  
  24.     return result.toString();            
  25. }  

 

10、smartcn分词器

Java代码

 收藏代码

  1. private static final SmartChineseAnalyzer SMART_CHINESE_ANALYZER = new SmartChineseAnalyzer();  
  2. @Override  
  3. public Map<String, String> segMore(String text) {  
  4.     Map<String, String> map = new HashMap<>();  
  5.     map.put("smartcn", segText(text));  
  6.     return map;  
  7. }  
  8. private static String segText(String text) {  
  9.     StringBuilder result = new StringBuilder();  
  10.     try {  
  11.         TokenStream tokenStream = SMART_CHINESE_ANALYZER.tokenStream("text"new StringReader(text));  
  12.         tokenStream.reset();  
  13.         while (tokenStream.incrementToken()){  
  14.             CharTermAttribute charTermAttribute = tokenStream.getAttribute(CharTermAttribute.class);  
  15.             result.append(charTermAttribute.toString()).append(" ");  
  16.         }  
  17.         tokenStream.close();  
  18.     }catch (Exception e){  
  19.         e.printStackTrace();  
  20.     }  
  21.     return result.toString();  
  22. }  

 11、HanLP分词器

Java代码

 收藏代码

  1. private static final Segment N_SHORT_SEGMENT = new NShortSegment().enableCustomDictionary(false).enablePlaceRecognize(true).enableOrganizationRecognize(true);  
  2. private static final Segment DIJKSTRA_SEGMENT = new DijkstraSegment().enableCustomDictionary(false).enablePlaceRecognize(true).enableOrganizationRecognize(true);  
  3. @Override  
  4. public Map<String, String> segMore(String text) {  
  5.     Map<String, String> map = new HashMap<>();  
  6.     map.put("标准分词", standard(text));  
  7.     map.put("NLP分词", nlp(text));  
  8.     map.put("索引分词", index(text));  
  9.     map.put("N-最短路径分词", nShort(text));  
  10.     map.put("最短路径分词", shortest(text));  
  11.     map.put("极速词典分词", speed(text));  
  12.     return map;  
  13. }  
  14. private static String standard(String text) {  
  15.     StringBuilder result = new StringBuilder();  
  16.     StandardTokenizer.segment(text).forEach(term->result.append(term.word).append(" "));  
  17.     return result.toString();  
  18. }  
  19. private static String nlp(String text) {  
  20.     StringBuilder result = new StringBuilder();  
  21.     NLPTokenizer.segment(text).forEach(term->result.append(term.word).append(" "));  
  22.     return result.toString();  
  23. }  
  24. private static String index(String text) {  
  25.     StringBuilder result = new StringBuilder();  
  26.     IndexTokenizer.segment(text).forEach(term->result.append(term.word).append(" "));  
  27.     return result.toString();  
  28. }  
  29. private static String speed(String text) {  
  30.     StringBuilder result = new StringBuilder();  
  31.     SpeedTokenizer.segment(text).forEach(term->result.append(term.word).append(" "));  
  32.     return result.toString();  
  33. }  
  34. private static String nShort(String text) {  
  35.     StringBuilder result = new StringBuilder();  
  36.     N_SHORT_SEGMENT.seg(text).forEach(term->result.append(term.word).append(" "));  
  37.     return result.toString();  
  38. }  
  39. private static String shortest(String text) {  
  40.     StringBuilder result = new StringBuilder();  
  41.     DIJKSTRA_SEGMENT.seg(text).forEach(term->result.append(term.word).append(" "));  
  42.     return result.toString();  
  43. }  

 

 

现在我们已经实现了本文的第一个目的:学会使用11大Java开源中文分词器。

最后我们来实现本文的第二个目的:对比分析11大Java开源中文分词器的分词效果,程序如下:

Java代码

 收藏代码

  1. public static Map<String, Set<String>> contrast(String text){  
  2.     Map<String, Set<String>> map = new LinkedHashMap<>();  
  3.     map.put("word分词器"new WordEvaluation().seg(text));  
  4.     map.put("Stanford分词器"new StanfordEvaluation().seg(text));  
  5.     map.put("Ansj分词器"new AnsjEvaluation().seg(text));  
  6.     map.put("HanLP分词器"new HanLPEvaluation().seg(text));  
  7.     map.put("FudanNLP分词器"new FudanNLPEvaluation().seg(text));  
  8.     map.put("Jieba分词器"new JiebaEvaluation().seg(text));  
  9.     map.put("Jcseg分词器"new JcsegEvaluation().seg(text));  
  10.     map.put("MMSeg4j分词器"new MMSeg4jEvaluation().seg(text));  
  11.     map.put("IKAnalyzer分词器"new IKAnalyzerEvaluation().seg(text));  
  12.     map.put("smartcn分词器"new SmartCNEvaluation().seg(text));  
  13.     return map;  
  14. }  
  15. public static Map<String, Map<String, String>> contrastMore(String text){  
  16.     Map<String, Map<String, String>> map = new LinkedHashMap<>();  
  17.     map.put("word分词器"new WordEvaluation().segMore(text));  
  18.     map.put("Stanford分词器"new StanfordEvaluation().segMore(text));  
  19.     map.put("Ansj分词器"new AnsjEvaluation().segMore(text));  
  20.     map.put("HanLP分词器"new HanLPEvaluation().segMore(text));  
  21.     map.put("FudanNLP分词器"new FudanNLPEvaluation().segMore(text));  
  22.     map.put("Jieba分词器"new JiebaEvaluation().segMore(text));  
  23.     map.put("Jcseg分词器"new JcsegEvaluation().segMore(text));  
  24.     map.put("MMSeg4j分词器"new MMSeg4jEvaluation().segMore(text));  
  25.     map.put("IKAnalyzer分词器"new IKAnalyzerEvaluation().segMore(text));  
  26.     map.put("smartcn分词器"new SmartCNEvaluation().segMore(text));  
  27.     return map;  
  28. }  
  29. public static void show(Map<String, Set<String>> map){  
  30.     map.keySet().forEach(k -> {  
  31.         System.out.println(k + " 的分词结果:");  
  32.         AtomicInteger i = new AtomicInteger();  
  33.         map.get(k).forEach(v -> {  
  34.             System.out.println("\t" + i.incrementAndGet() + " 、" + v);  
  35.         });  
  36.     });  
  37. }  
  38. public static void showMore(Map<String, Map<String, String>> map){  
  39.     map.keySet().forEach(k->{  
  40.         System.out.println(k + " 的分词结果:");  
  41.         AtomicInteger i = new AtomicInteger();  
  42.         map.get(k).keySet().forEach(a -> {  
  43.             System.out.println("\t" + i.incrementAndGet()+ " 、【"   + a + "】\t" + map.get(k).get(a));  
  44.         });  
  45.     });  
  46. }  
  47. public static void main(String[] args) {  
  48.     show(contrast("我爱楚离陌"));  
  49.     showMore(contrastMore("我爱楚离陌"));  
  50. }  

 

运行结果如下:

Java代码

 收藏代码

  1. ********************************************  
  2. word分词器 的分词结果:  
  3.     1 、我 爱 楚离陌   
  4. Stanford分词器 的分词结果:  
  5.     1 、我 爱 楚 离陌   
  6.     2 、我 爱 楚离陌   
  7. Ansj分词器 的分词结果:  
  8.     1 、我 爱 楚离 陌   
  9.     2 、我 爱 楚 离 陌   
  10. HanLP分词器 的分词结果:  
  11.     1 、我 爱 楚 离 陌   
  12. smartcn分词器 的分词结果:  
  13.     1 、我 爱 楚 离 陌   
  14. FudanNLP分词器 的分词结果:  
  15.     1 、我 爱楚离陌  
  16. Jieba分词器 的分词结果:  
  17.     1 、我爱楚 离 陌   
  18. Jcseg分词器 的分词结果:  
  19.     1 、我 爱 楚 离 陌   
  20. MMSeg4j分词器 的分词结果:  
  21.     1 、我爱 楚 离 陌   
  22. IKAnalyzer分词器 的分词结果:  
  23.     1 、我 爱 楚 离 陌   
  24. ********************************************  

 

Java代码

 收藏代码

  1. ********************************************  
  2. word分词器 的分词结果:  
  3.     1 、【全切分算法】  我 爱 楚离陌   
  4.     2 、【双向最大最小匹配算法】 我 爱 楚离陌   
  5.     3 、【正向最大匹配算法】   我 爱 楚离陌   
  6.     4 、【双向最大匹配算法】   我 爱 楚离陌   
  7.     5 、【逆向最大匹配算法】   我 爱 楚离陌   
  8.     6 、【正向最小匹配算法】   我 爱 楚离陌   
  9.     7 、【双向最小匹配算法】   我 爱 楚离陌   
  10.     8 、【逆向最小匹配算法】   我 爱 楚离陌   
  11. Stanford分词器 的分词结果:  
  12.     1 、【Stanford Chinese Treebank segmentation】 我 爱 楚离陌   
  13.     2 、【Stanford Beijing University segmentation】   我 爱 楚 离陌   
  14. Ansj分词器 的分词结果:  
  15.     1 、【BaseAnalysis】   我 爱 楚 离 陌   
  16.     2 、【IndexAnalysis】  我 爱 楚 离 陌   
  17.     3 、【ToAnalysis】 我 爱 楚 离 陌   
  18.     4 、【NlpAnalysis】    我 爱 楚离 陌   
  19. HanLP分词器 的分词结果:  
  20.     1 、【NLP分词】  我 爱 楚 离 陌   
  21.     2 、【标准分词】   我 爱 楚 离 陌   
  22.     3 、【N-最短路径分词】   我 爱 楚 离 陌   
  23.     4 、【索引分词】   我 爱 楚 离 陌   
  24.     5 、【最短路径分词】 我 爱 楚 离 陌   
  25.     6 、【极速词典分词】 我 爱 楚 离 陌   
  26. smartcn分词器 的分词结果:  
  27.     1 、【smartcn】    我 爱 楚 离 陌   
  28. FudanNLP分词器 的分词结果:  
  29.     1 、【FudanNLP】   我 爱楚离陌  
  30. Jieba分词器 的分词结果:  
  31.     1 、【SEARCH】 我爱楚 离 陌   
  32.     2 、【INDEX】  我爱楚 离 陌   
  33. Jcseg分词器 的分词结果:  
  34.     1 、【简易模式】   我 爱 楚 离 陌   
  35.     2 、【复杂模式】   我 爱 楚 离 陌   
  36. MMSeg4j分词器 的分词结果:  
  37.     1 、【SimpleSeg】  我爱 楚 离 陌   
  38.     2 、【ComplexSeg】 我爱 楚 离 陌   
  39.     3 、【MaxWordSeg】 我爱 楚 离 陌   
  40. IKAnalyzer分词器 的分词结果:  
  41.     1 、【智能切分】   我 爱 楚 离 陌   
  42.     2 、【细粒度切分】  我 爱 楚 离 陌   
  43. ********************************************  

 

 

 完整代码看这里

************************************************************

/**
 * 
 * APDPlat - Application Product Development Platform
 * Copyright (c) 2013, 杨尚川, yang-shangchuan@qq.com
 * 
 * This program is free software: you can redistribute it and/or modify
 * it under the terms of the GNU General Public License as published by
 * the Free Software Foundation, either version 3 of the License, or
 * (at your option) any later version.
 * 
 * This program is distributed in the hope that it will be useful,
 * but WITHOUT ANY WARRANTY; without even the implied warranty of
 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 * GNU General Public License for more details.
 * 
 * You should have received a copy of the GNU General Public License
 * along with this program.  If not, see <http://www.gnu.org/licenses/>.
 * 
 */

package org.apdplat.evaluation;

import org.apdplat.evaluation.impl.*;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.nio.charset.Charset;
import java.util.LinkedHashMap;
import java.util.Map;
import java.util.Set;
import java.util.concurrent.atomic.AtomicInteger;
import java.util.stream.Collectors;

/**
 * 获取文本的所有分词结果, 对比不同分词器结果
 * seg和segMore两个方法的区别在于返回值
 * 每一个分词器都可能有多种分词模式,每种模式的分词结果都可能不相同
 * 第一个方法忽略分词器模式,返回所有模式的所有不重复分词结果
 * 第二个方法返回每一种分词器模式及其对应的分词结果
 * @author 杨尚川
 */
public interface WordSegmenter {
    /**
     * 获取文本的所有分词结果
     * @param text 文本
     * @return 所有的分词结果,去除重复
     */
    default public Set<String> seg(String text) {
        return segMore(text).values().stream().collect(Collectors.toSet());
    }
    /**
     * 获取文本的所有分词结果
     * @param text 文本
     * @return 所有的分词结果,KEY 为分词器模式,VALUE 为分词器结果
     */
    public Map<String, String> segMore(String text);
    
    public static Map<String, Set<String>> contrast(String text){
        Map<String, Set<String>> map = new LinkedHashMap<>();
        map.put("word分词器", new WordEvaluation().seg(text));
        map.put("Stanford分词器", new StanfordEvaluation().seg(text));
        map.put("Ansj分词器", new AnsjEvaluation().seg(text));
        map.put("HanLP分词器", new HanLPEvaluation().seg(text));
        map.put("smartcn分词器", new SmartCNEvaluation().seg(text));
        map.put("FudanNLP分词器", new FudanNLPEvaluation().seg(text));
        map.put("Jieba分词器", new JiebaEvaluation().seg(text));
        map.put("Jcseg分词器", new JcsegEvaluation().seg(text));
        map.put("MMSeg4j分词器", new MMSeg4jEvaluation().seg(text));
        map.put("IKAnalyzer分词器", new IKAnalyzerEvaluation().seg(text));
        return map;
    }
    public static Map<String, Map<String, String>> contrastMore(String text){
        Map<String, Map<String, String>> map = new LinkedHashMap<>();
        map.put("word分词器", new WordEvaluation().segMore(text));
        map.put("Stanford分词器", new StanfordEvaluation().segMore(text));
        map.put("Ansj分词器", new AnsjEvaluation().segMore(text));
        map.put("HanLP分词器", new HanLPEvaluation().segMore(text));
        map.put("smartcn分词器", new SmartCNEvaluation().segMore(text));
        map.put("FudanNLP分词器", new FudanNLPEvaluation().segMore(text));
        map.put("Jieba分词器", new JiebaEvaluation().segMore(text));
        map.put("Jcseg分词器", new JcsegEvaluation().segMore(text));
        map.put("MMSeg4j分词器", new MMSeg4jEvaluation().segMore(text));
        map.put("IKAnalyzer分词器", new IKAnalyzerEvaluation().segMore(text));
        return map;
    }
    public static void show(Map<String, Set<String>> map){
        map.keySet().forEach(k -> {
            System.out.println(k + " 的分词结果:");
            AtomicInteger i = new AtomicInteger();
            map.get(k).forEach(v -> {
                System.out.println("\t" + i.incrementAndGet() + " 、" + v);
            });
        });
    }
    public static void showMore(Map<String, Map<String, String>> map){
        map.keySet().forEach(k->{
            System.out.println(k + " 的分词结果:");
            AtomicInteger i = new AtomicInteger();
            map.get(k).keySet().forEach(a -> {
                System.out.println("\t" + i.incrementAndGet()+ " 、【"   + a + "】\t" + map.get(k).get(a));
            });
        });
    }
    public static void run(String encoding) {
        try(BufferedReader reader = new BufferedReader(new InputStreamReader(System.in, encoding))){
            String line = null;
            while((line = reader.readLine()) != null){
                if("exit".equals(line)){
                    System.exit(0);
                    return;
                }
                if(line.trim().equals("")){
                    continue;
                }
                process(line);
                showUsage();
            }
        } catch (IOException ex) {
            ex.printStackTrace();
        }
    }
    public static void process(String text){
        System.out.println("********************************************");
        show(contrast(text));
        System.out.println("********************************************");
        showMore(contrastMore(text));
        System.out.println("********************************************");
    }
    public static void showUsage(){
        System.out.println("输入exit退出程序");
        System.out.println("输入要分词的文本后回车确认:");
    }
    public static void main(String[] args) {
        process("我爱楚离陌");
        process("结合成分子");
        String encoding = "utf-8";
        if(args==null || args.length == 0){
            showUsage();
            run(encoding);
        }else if(Charset.isSupported(args[0])){
            showUsage();
            run(args[0]);
        }
    }
}

 

 

 

共有 人打赏支持
粉丝 29
博文 701
码字总数 17953
×
Airship
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: