《数学之美》—分词

原创
2017/08/01 10:52
阅读数 10

1、为什么要分词?

2、怎样去分词?

摘要与理解:

  1. S(句子) = w1w2w3...wn(词)

        语言模型是建立在词的基础上的,因为词是表达语义的最小单位。

     2.分词的输入:一个句子,例:中国航天官员应邀到美国与太空总署官员开会

        分词的输出:用分界符分割的一串词,例:中国/航天/官员/应邀/到/美国/与/太空/总署/官员/开会

     3.分词的发展

        (1)北航梁南元教授-查字典  

            复合词 单字词 最长词匹配

        (2)哈工大王晓龙博士-最少词数的分词理论

            分词的二义性 并非所有最长词匹配都正确

        (3)清华郭进博士-统计语言模型解决了二义性

            一个句子S的不同分词法 -  A1,A2,A3,...,Ak

                                                     B1,B2,B3,...,Bm

                                                     C1,C2,C3,...,Cn

          P(A1,A2,A3,...,Ak) > P(B1,B2,B3,...,Bm)   &&  P(A1,A2,A3,...,Ak) > P(C1,C2,C3,...,Cn)

          则  A1,A2,A3,...,Ak是最好分词 —— 计算量大

          动态规划 - 维特比算法

 

        

 

 

 

      4.词的颗粒度

 

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部