文档章节

斯坦福NLP笔记74 —— Phrase Queries and Positional Indexe

陈清扬
 陈清扬
发布于 2014/07/23 12:49
字数 245
阅读 36
收藏 0

这一节讲的是前面index的term如果是一个phrase的时候怎么办,有些地方没太懂。

主要介绍的算法是position index,就是在前面存posting的时候除了存下doc的ID,也存下该term在该doc中出现的位置,这样就能知道位置关系来判断phrase了。

所以上一节的那个匹配算法需要多出一步:

在发现某个doc同时包含了这两个token以后,进入position的那一层,试探位置关系。

然后教授指出position index并没有多出很大的空间需求,因为平均起来,一个词在一个文档里面出现的位置并不会很多。

但是,对于有些过于常见的搭配,例如“Michael Jackson”这种,还是应该当成一个biword来处理比较快。

最后教授说到现在时髦的做法是缓存的方法。

© 著作权归作者所有

陈清扬
粉丝 5
博文 52
码字总数 23875
作品 0
海淀
私信 提问
李飞飞又有新动向,斯坦福 AI 实验室由 Christopher Manning 接棒

雷锋网(公众号:雷锋网) AI 科技评论按:11 月 19 日,斯坦福人工智能实验室发推文称,Christopher Manning 成为实验室新负责人,而前负责人李飞飞则将工作阵地转移到「以人为中心的 AI 计划...

丛末
2018/11/20
0
0
斯坦福AI实验室换帅!Christopher Manning接替李飞飞

机器之心报道。 今天,斯坦福 AI 实验室(SAIL)在官方 Twitter 上表示 Christopher Manning 成为新的负责人,而前一任负责人李飞飞负责「以人为中心的 AI 计划」。 看过斯坦福 CS224n 的读者...

机器之心
2018/11/20
0
0
重磅 | AI 第一高校 CMU 的「神经网络 NLP」课,中英字幕独家上线!

AI 研习社获得官方授权,汉化翻译卡耐基梅隆大学的11-747神经网络自然语言处理(2019春季),今天正式上线中英双语字幕版课程啦! 我们先来一睹为快—— 第一讲 课程介绍 & 使用神经网络做自...

雷锋字幕组
03/07
0
0
斯坦福自然语言处理习题课1——绪论

对于技术人员来说,如果要问当前最热门的技术是什么?我想大家一定会回答是人工智能技术。而在人工智能技术中,哪个技术方向最火呢?大家肯定会回答是深度学习技术。如果我们要问在深度学习技...

最老程序员闫涛
2018/11/06
0
0
斯坦福 CS224n 中文笔记整理活动 | ApacheCN

参与方式:https://github.com/apachecn/stanford-cs224n-notes-zh/blob/master/CONTRIBUTING.md 整体进度:https://github.com/apachecn/stanford-cs224n-notes-zh/issues/1 项目仓库:htt......

ApacheCN_飞龙
06/11
0
0

没有更多内容

加载失败,请刷新页面

加载更多

小白讲网络安全系列

注入攻击防护 XSS注入 SQL注入 命令注入 文件上传 文件解压缩 CSRF防护 对称加密 非对称加密 数字证书 数字签名 完整性校验 消息验证码 单向散列Hash函数 口令单向加密算法 审计日志 认证鉴权...

一刀
24分钟前
0
0
MYSQL 嵌套事务(SAVEPOINT) 与Spring 事务传播

摘要 savepoint 关键字可以实现嵌套事务。结合savepoint关键字,更方便理解spring的事务传播。 事务嵌套 初始化表脚本 drop table t;create table t(a int, primary key(a)); 开启事务 my...

liangxiao
26分钟前
2
0
Chrome OS 更新新版本可让Linux访问USB连接的Android设备

谷歌再次为Chrome OS带来了重大版本更新,使版本号达到了75。本次更新的一大亮点就是允许在Chrome OS上运行的Linux能够识别通过USB方式连接的Android设备,能够让用户使用Linux进行调试等等。...

linuxCool
昨天
13
0
聊聊feign的HystrixInvocationHandler

序 本文主要研究一下feign的HystrixInvocationHandler HystrixInvocationHandler feign-hystrix-10.2.3-sources.jar!/feign/hystrix/HystrixInvocationHandler.java final class HystrixInvo......

go4it
昨天
15
0
WPS 开启宏功能

前言 最近安装了个人版的WPS2019,使用Excel的宏功能时候发现不能使用了,网上下载了几个安装包都是比较旧的,不能使用。 找了个VB7.1的安装包,安装完了,重启WPS宏功能就可以使用了。 安装...

sharelocked
昨天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部