文档章节

NLP

杭电任宇翔
 杭电任宇翔
发布于 2017/08/09 16:09
字数 864
阅读 27
收藏 0
点赞 0
评论 0
nlp

https://blog.heuritech.com/2016/04/15/knowledge-extraction-from-unstructured-texts/

前文说到,搜索技术不适合做问答,做问答需要语义理解技术。那么,搜索技术和语义理解技术二者有什么不同? 第一,搜索处理的对象是符号,是直观的。语义理解处理的是用户意图,是抽象的。比如用户说“藏”,搜索不管你是“埋藏”的“cang”还是“宝藏”的“zang”,只要数据库里有,就给你列出来。而语义理解要根据上下文搞清楚用户意图是什么,根据用户意图给出恰当结果。 第二,搜索说到底是关键字模糊查询,多多少少对语义做了“阉割”。比如“你家的地得扫了”和“你家扫了”,搜索技术是分不清的,因为“的地得”不是关键字。“商鞅变法是怎么树立威信的”和“商鞅变法是用什么树立威信的”搜索技术也分不清这两句话,因为这两句话关键字基本一样! 语义理解技术是对用户意图的处理,需要对句子的每一个成份进行分析,不能忽略用户输入的每个细节,所有虚词甚至标点符号都要处理。比如“你干嘛”“你干嘛的”,不处理虚词就没法区别这两个句子。 第三,搜索的核心是关键字的相关性计算,语义理解的核心是语义相似性计算。语义通过句子表达,关键字是句子的核心成份,但关键字和语义往往差距较大。用搜索技术做语义理解常常处理不了否定和反问,因为否定和反问与正向表达的关键字一样。关键字和语义之间的一致率不大于65%,就是说两句话关键字完全一样,语义相似性可能不大于65%。(65%是我根据经验推算出来的。)用搜索技术做问答显然很难准确理解用户意图。语义相似性计算是透过文字或语音表达,去理解用户意图。它从用户输入出发,又不局限于用户输入。用相似值做比较灵活的处理,力求更准确地把握用户意图。例如“小明的衣服是白色的”和“小明的帽子是白色的”之间没有语义相似性,因为一个说的衣服,一个说的帽子。但“小明的衣服是白色的吗”和“小明的衣服是黄色的”语义就高度相似。问机器人“小明的衣服是白色的吗”回答“小明的衣服是黄色的”,就是对用户意图的准确理解。理论上讲,语义相似性计算可以让用户获得百分之百的满意度。 第四,搜索技术的基础是数学,语义理解的技术是语言学。数学技术本无可厚非。但为了搜索而做搜索,完全脱离了语义,就不对了。语言是形式,语义才是本质。不处理非关键字,就是对语义的“阉割”,就是脱离语义处理语言。语言说到底是表达语义的。语义理解是语言学,处理的对象是语义。问答的内容就是语义。所以说语义理解技术更适合做问答。

© 著作权归作者所有

共有 人打赏支持
杭电任宇翔
粉丝 1
博文 14
码字总数 5122
作品 0
杭州
程序员
自然语言处理(python)环境配置-NLTK的安装

自然语言处理(python)环境配置-NLTK的安装 1.自然语言处理的介绍 NLP (Natural Language Processing) 是人工智能(AI)的一个子领域。是机器真正能够理解人类说话的重要一环。自然语言处理也...

meiqi0538 ⋅ 04/08 ⋅ 0

自然语言处理之路- 前提——语言学

一个自然语言处理炼丹师的自白 往期: 自然语言处理之路:前提——英文 自然语言处理之路:前提——数学 前提的最后一部分,也是我最想提及的部分。之前的英文与数学,可以算是比较通用的能力...

坂本龙一 ⋅ 05/11 ⋅ 0

基础入门:如何用自然语言分析大型数据集?

  【IT168 评论】自然语言处理(NLP)是一项令人兴奋的前沿研究,Siri、Alexa和谷歌Home等产品都在努力完善自然语言处理方面的能力。为了使用NLP,我们必须了解这种处理方式的工作原理,我们...

it168网站 ⋅ 05/25 ⋅ 0

NLP 解决方案是如何被深度学习改写的?

雷锋网(公众号:雷锋网) AI 科技评论按:英特尔人工智能产品事业部,数据科学主任 Yinyin Liu 近日撰写了一篇文章,介绍了深度学习为自然语言处理带来的种种变化。有趣的大趋势是首先产生在 ...

MrBear ⋅ 04/27 ⋅ 0

[年前福利]送10本自然语言处理与深度学习相关书籍

感谢大家一直对公众号的支持和陪伴,本次公众号联合机械工业出版社华章科技给大家送出10本自然语言处理与深度学习相关的10本书籍,希望大家能够收获多多,新的一年,成长进步! 下面来介绍一...

机器学习算法与自然语言处理 ⋅ 01/31 ⋅ 0

哈工大刘挺:哈工大 SCIR 实验室的 NLP 研究 | CCF-GAIR

雷锋网 AI 科技评论按:近期由中国计算机学会(CCF)主办,雷锋网、香港中文大学(深圳)承办的全球人工智能与机器人峰会(CCF-GAIR)将于 6 月底在深圳举办,其中 哈尔滨工业大学刘挺教授 ...

camel ⋅ 06/02 ⋅ 0

CCF NLPCC 2018 自然语言处理与中文计算国际会议

CCF 自然语言处理与中文计算国际会议 (NLPCC) 是由中国计算机学会主办的中文信息技术专业委员会年度学术会议,是专注于自然语言处理及中文计算领域的国际会议。会议旨在为来自学术界、工业界...

奕欣 ⋅ 04/13 ⋅ 0

干货丨一份机器学习的初学者指南

机器学习: 引言 听过人们谈论过机器学习,但对它的概念却是一知半解? 想要从零开始机器学习,却被网络上的海量资源冲昏头脑? 不用担心,我们给你们提供了机器学习从0到1系列,这个系列可以让...

r1unw1w ⋅ 04/11 ⋅ 0

牛津大学xDeepMind自然语言处理 第9讲(中)语音学表达

     大数据文摘重磅课程汉化《牛津大学xDeepMind自然语言处理》   本周更新至:Lecture 9 语音识别(2)   马上观看   https://v.qq.com/x/page/c0650q8ftd0.html   点击文末阅...

大数据文摘 ⋅ 05/12 ⋅ 0

重磅译制 | 牛津大学xDeepMind自然语言处理 第9讲(下)语音模型

     大数据文摘重磅课程汉化《牛津大学xDeepMind自然语言处理》   本周更新至:Lecture 9 语音识别(3)   牛津大学Deep NLP是一门关于自然语言处理(NLP)的高阶课程。课程由牛津大...

大数据文摘 ⋅ 05/20 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Spring发展历程总结

转自与 https://www.cnblogs.com/RunForLove/p/4641672.html 目前很多公司的架构,从Struts2迁移到了SpringMVC。你有想过为什么不使用Servlet+JSP来构建Java web项目,而是采用SpringMVC呢?...

onedotdot ⋅ 24分钟前 ⋅ 0

Python模块/包/库安装(6种方法)

Python模块/包/库安装(6种方法) 冰颖机器人 2016-11-29 21:33:26 一、方法1: 单文件模块 直接把文件拷贝到 $python_dir/Lib 二、方法2: 多文件模块,带setup.py 下载模块包(压缩文件zip...

cswangyx ⋅ 43分钟前 ⋅ 0

零基础学习大数据人工智能,学习路线篇!系统规划大数据之路?

大数据处理技术怎么学习呢?首先我们要学习Python语言和Linux操作系统,这两个是学习大数据的基础,学习的顺序不分前后。 Python:Python 的排名从去年开始就借助人工智能持续上升,现在它已经...

董黎明 ⋅ 51分钟前 ⋅ 0

openJdk和sun jdk的区别

使用过LINUX的人都应该知道,在大多数LINUX发行版本里,内置或者通过软件源安装JDK的话,都是安装的OpenJDK, 那么到底什么是OpenJDK,它与SUN JDK有什么关系和区别呢? 历史上的原因是,Ope...

jason_kiss ⋅ 今天 ⋅ 0

梳理

Redux 是 JavaScript 状态容器,提供可预测化的状态管理。 它是JS的状态容器,是一种解决问题的方式,所以即可以用于 react 也可以用于 vue。 需要理解其思想及实现方式。 应用中所有的 stat...

分秒 ⋅ 今天 ⋅ 0

Java 后台判断是否为ajax请求

/** * 是否是Ajax请求 * @param request * @return */public static boolean isAjax(ServletRequest request){return "XMLHttpRequest".equalsIgnoreCase(((HttpServletReques......

JavaSon712 ⋅ 今天 ⋅ 0

Redis 单线程 为何却需要事务处理并发问题

Redis是单线程处理,也就是命令会顺序执行。那么为什么会存在并发问题呢? 个人理解是,虽然redis是单线程,但是可以同时有多个客户端访问,每个客户端会有 一个线程。客户端访问之间存在竞争...

码代码的小司机 ⋅ 今天 ⋅ 0

到底会改名吗?微软GVFS 改名之争

微软去年透露了 Git Virtual File System(GVFS)项目,GVFS 是 Git 版本控制系统的一个开源插件,允许 Git 处理 TB 规模的代码库,比如 270 GB 的 Windows 代码库。该项目公布之初就引发了争...

linux-tao ⋅ 今天 ⋅ 0

笔试题之Java基础部分【简】【二】

1.静态变量和实例变量的区别 在语法定义上的区别:静态变量前要加static关键字,而实例变量前则不加。在程序运行时的区别:实例变量属于某个对象的属性,必须创建了实例对象,其中的实例变...

anlve ⋅ 今天 ⋅ 0

Lombok简单介绍及使用

官网 通过简单注解来精简代码达到消除冗长代码的目的 优点 提高编程效率 使代码更简洁 消除冗长代码 避免修改字段名字时忘记修改方法名 4.idea中安装lombnok pom.xml引入 <dependency> <grou...

to_ln ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部