自然语言中的词法分析、语法分析、句法分析

2019/05/07 21:29
阅读数 597

1.词法分析

词是自然语言中能够独立运用的最小单位,是自然语言处理的基本单位。词法分析就是利用计算机对自然语言的形态 (morphology) 进行分析,判断词的结构和类别等。

词法分析的主要任务是:①:能正确的把一串连续的字符切分成一个一个的词 ②:能正确地判断每个词的词性,以便于后续的句法分析的实现。

常见的中文分词算法:(分为三类,1.基于字符串匹配(机械分词)的分词方法、2.基于理解的分词方法、3.基于统计的分词方法)

  最大匹配法(正向、逆向)    1基于字符串匹配

  基于词典的中文分词       1基于字符串匹配

  基于标记法

  约束矩阵法

  句模切分法

  神经网络分析算法         2.基于理解

  基于统计语言模型(共现率)    3.基于统计

  专家系统分词算法         

 常见分词项目:

  word分词

  FudanNLP

  Paoding

  MMSEG4J

  jcseg

  ICTCLAS

  智呈分词

  MFSOU分词

  SCWS

  jieba

  

 

 

2.句法分析(语法分析)

运用自然语言的句法和其他知识来确定组成输入句各成分功能。对句子中的词语语法功能进行分析。(每个词充当的角色,主语、谓语等)。

句法分析的基本任务是:确定句子的语法结构或句子中词汇之间的依存关系。

句法分析分为:句法结构分析和依存关系分析两种。

 采用语法树来表示

 

3.语义分析

 

4.语用分析

 

5.常见的术语:

  未登录词:命名实体(人名、地名)、新词,专业术语称为未登录词。也就是那些在分词词典中没有收录,但又确实能称为词的那些词。

 

 

 

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部