加载中
中文分词算法 之 基于词典的正向最大匹配算法

基于词典的正向最大匹配算法,算法会根据词典文件自动调整最大长度,分词的好坏完全取决于词典。随着词典越来越大,算法的时空复杂性怎么权衡呢?

中文分词算法 之 基于词典的正向最小匹配算法

正向最小匹配算法,和正向最大匹配算法相得益彰,一个强调细粒度,一个强调粗粒度

中文分词算法 之 基于词典的逆向最小匹配算法

逆向最小匹配算法,和逆向最大匹配算法相得益彰,一个强调细粒度,一个强调粗粒度

word分词器、ansj分词器、mmseg4j分词器、ik-analyzer分词器分词效果评估

word分词在千万字级(2837 4490字)超大规模人工标注语料库中分词完美率为:55.352688%。测试结果表明,bigram消歧效果良好,完美率提升10%。

一种利用ngram模型来消除歧义的中文分词方法

一种利用ngram模型来消除歧义的中文分词方法

计算OSCHINA博文在百度的收录与排名情况

计算OSCHINA博文在百度的收录与排名情况

2015/04/03 16:49
446
中文分词算法 之 基于词典的逆向最大匹配算法

实验表明:对于汉语来说,逆向最大匹配算法比(正向)最大匹配算法更有效。在大规模文本分析中,如何提高分词算法的性能呢?

我的ITEYE和OSCHINA博客的异同(截止2015年5月17日)

我的ITEYE和OSCHINA博客的异同

2015/04/03 05:17
340
中文分词算法 之 词典机制性能优化与测试

中文分词的速度能有多快?120万字符/秒。词典机制的优化很重要,且看慢慢道来......

计算ITEYE博文在百度的收录与排名情况

计算ITEYE博文在百度的收录与排名情况

2015/04/04 04:00
175
OSCHINA博文抄袭检查

比如我写了一篇文章:“使用Java8实现自己的个性化搜索引擎”,我想知道有哪些网站转载了我的文章,我该怎么办呢?

利用word分词通过计算词的语境来获得相关词

利用word分词通过计算词的语境来获得相关词

中文分词算法 之 基于词典的全切分算法

中文分词算法 之 基于词典的全切分算法

superword开源项目中的定义相似规则

superword开源项目中的定义相似规则

一种使用随机抽样梯度下降算法来预估词汇量的方法

一种使用随机抽样梯度下降算法来预估词汇量的方法

没有更多内容

加载失败,请刷新页面

返回顶部
顶部