文档章节

NLP

杭电任宇翔
 杭电任宇翔
发布于 2017/08/09 16:09
字数 864
阅读 31
收藏 0
nlp

https://blog.heuritech.com/2016/04/15/knowledge-extraction-from-unstructured-texts/

前文说到,搜索技术不适合做问答,做问答需要语义理解技术。那么,搜索技术和语义理解技术二者有什么不同? 第一,搜索处理的对象是符号,是直观的。语义理解处理的是用户意图,是抽象的。比如用户说“藏”,搜索不管你是“埋藏”的“cang”还是“宝藏”的“zang”,只要数据库里有,就给你列出来。而语义理解要根据上下文搞清楚用户意图是什么,根据用户意图给出恰当结果。 第二,搜索说到底是关键字模糊查询,多多少少对语义做了“阉割”。比如“你家的地得扫了”和“你家扫了”,搜索技术是分不清的,因为“的地得”不是关键字。“商鞅变法是怎么树立威信的”和“商鞅变法是用什么树立威信的”搜索技术也分不清这两句话,因为这两句话关键字基本一样! 语义理解技术是对用户意图的处理,需要对句子的每一个成份进行分析,不能忽略用户输入的每个细节,所有虚词甚至标点符号都要处理。比如“你干嘛”“你干嘛的”,不处理虚词就没法区别这两个句子。 第三,搜索的核心是关键字的相关性计算,语义理解的核心是语义相似性计算。语义通过句子表达,关键字是句子的核心成份,但关键字和语义往往差距较大。用搜索技术做语义理解常常处理不了否定和反问,因为否定和反问与正向表达的关键字一样。关键字和语义之间的一致率不大于65%,就是说两句话关键字完全一样,语义相似性可能不大于65%。(65%是我根据经验推算出来的。)用搜索技术做问答显然很难准确理解用户意图。语义相似性计算是透过文字或语音表达,去理解用户意图。它从用户输入出发,又不局限于用户输入。用相似值做比较灵活的处理,力求更准确地把握用户意图。例如“小明的衣服是白色的”和“小明的帽子是白色的”之间没有语义相似性,因为一个说的衣服,一个说的帽子。但“小明的衣服是白色的吗”和“小明的衣服是黄色的”语义就高度相似。问机器人“小明的衣服是白色的吗”回答“小明的衣服是黄色的”,就是对用户意图的准确理解。理论上讲,语义相似性计算可以让用户获得百分之百的满意度。 第四,搜索技术的基础是数学,语义理解的技术是语言学。数学技术本无可厚非。但为了搜索而做搜索,完全脱离了语义,就不对了。语言是形式,语义才是本质。不处理非关键字,就是对语义的“阉割”,就是脱离语义处理语言。语言说到底是表达语义的。语义理解是语言学,处理的对象是语义。问答的内容就是语义。所以说语义理解技术更适合做问答。

© 著作权归作者所有

共有 人打赏支持
杭电任宇翔
粉丝 1
博文 14
码字总数 5122
作品 0
杭州
程序员
入门 | 6大最流行、最有用的自然语言处理库对比

  选自KDnuggets   作者:ActiveWizards   机器之心编译   参与:路、王淑婷      本文概述和比较了最流行、最有用的自然语言处理库,包含 NLTK、spaCy、scikit-learn、gensim、...

机器之心
08/05
0
0
Python NLP库top6的介绍和比较

自然语言处理(NLP)在今天已经变得越来越流行,尤其是在深度学习迅猛发展的大背景下变得更加引人注目。NLP属于人工智能的一个领域,旨在理解文本和从中提取重要信息,并在文本数据上做进一步...

技术小能手
07/24
0
0
推荐 :6大最流行、最有用的自然语言处理库对比

现在自然语言处理(NLP)变得越来越流行,这在深度学习发展的背景下尤其引人注目。NLP 是人工智能的一个分支,旨在从文本中理解和提取重要信息,进而基于文本数据进行训练。NLP 的主要任务包...

技术小能手
08/06
0
0
了解对自然语言处理的卷积神经网络

了解对自然语言处理的卷积神经网络 当我们听到卷积神经网络(CNN)的时候,我们通常会想到计算机视觉。 CNN负责图像分类的重大突破,是当今大多数计算视觉系统的核心,从Facebook的自动照片标...

磐石001
2017/08/21
0
0
自然语言处理(python)环境配置-NLTK的安装

自然语言处理(python)环境配置-NLTK的安装 1.自然语言处理的介绍 NLP (Natural Language Processing) 是人工智能(AI)的一个子领域。是机器真正能够理解人类说话的重要一环。自然语言处理也...

meiqi0538
04/08
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

流量劫持是如何产生的?

流量劫持,这种古老的攻击沉寂了一段时间后,最近又开始闹的沸沸扬扬。众多知名品牌的路由器相继爆出存在安全漏洞,引来国内媒体纷纷报道。只要用户没改默认密码,打开一个网页甚至帖子,路由...

谢思华
21分钟前
0
0
Hadoop Client无法使用maven下载源码

最近在学习hadoop,使用maven的时候想看一下源码的注释,结果IDEA一直提示无法下载 搞得我一度以为maven坏掉了。 但是通过搜索,发现在maven仓库里确实没有源码.... 而2.8.1以及之前的版本是...

Iceberg_XTY
23分钟前
0
0
为什么程序员千万不要重写代码?

你所做的事情,也许暂时看不到成果,但不要灰心或焦虑,你不是没有成长,而是在扎根。 图片来自网络 0 前言 程序员都有一颗工程师的心,所以当他们到一片新的场地想做的第一件事就是,将旧的...

Java小铺
24分钟前
0
0
VUE集成AdminLte

1. 安装需要到插件 npm i admin-lte -Snpm i jquery -Snpm i axios -Snpm i vue-router -S 2. 配置webpack.config.js 2.1 module.exports.module.rules修改字体loader: {test: /\.(p......

Pasenger
今天
0
0
Spring Aop原理之切点表达式解析

在前面的文章(Spring AOP切点表达式详解)中,我们总结了Spring Aop切点表达式的用法,而在上文(Spring Aop原理之Advisor过滤)中我们讲到,切点表达式的解析主要是在PatternParser.parse...

爱宝贝丶
今天
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部