Elasticsearch 倒排索引

原创
2020/01/22 19:58
阅读数 105

Elasticsearch

Elasticsearch 是一个实时的分布式存储,搜索,分析的搜索引擎

 

主要特性

  • 轻量快速的全文搜索。
  • 安全分析和基础设施监控。
  • 支持海量规模,数千台服务器、PB级数据量。
  • 可以集成可视化数据分析工具,用于例如应用性能分析、日志监控、基础设施度量指标监控。
  • 可以用于机器学习,对数据实时进行自动化模型处理。

为什么要用搜索引擎?数据库不是也能搜索吗?

1、精确匹配和相关性匹配    

在使用数据库搜索时,我们更多的是基于「精确匹配」的搜索。 

什么是「精确匹配」? 

比如搜订单,根据订单状态,准确搜索。搜「已完成」,就要「精确匹配」「已完成」的订单,搜「待支付」,就要「精确匹配」「待支付」的订单。 

这种「精确匹配」的搜索能力,传统关系型数据库是非常胜任的。 

和「精确匹配」相比,「相关性匹配」更贴近人的思维方式。  

比如我要搜一门讲过「莎士比亚」的课程,我需要在课程的文稿里进行「相关性匹配」,找到对应的文稿,

你可能觉得一条 sql 语句就可以解决这个问题: 

select from course where content like "%莎士比亚%"

然而,这只能算是「模糊查询」,用你要搜索的字符串,去「精确」的「模糊查询」,其实还是「精确匹配」,机械思维。

那么到底什么是「相关性匹配」,什么才是「人的思维」呢? 

比如我搜「莎士比亚」,我要的肯定不只是精精确确包含「莎士比亚」的文稿,我可能还要搜「莎翁」、「Shakespeare」、「哈姆雷特」、「罗密欧和朱丽叶」、「威尼斯的商人」…  

又比如我输错了,输成「莎士笔亚」,「相关性匹配」可以智能的帮我优化为「莎士比亚」,返回对应的搜索结果。

这就是搜索引擎的强大之处,它似乎可以理解你的真实意图。 

 

  • Index:Elasticsearch的Index相当于数据库的Table
  • Type:这个在新的Elasticsearch版本已经废除(在以前的Elasticsearch版本,一个Index下支持多个Type--有点类似于消息队列一个topic下多个group的概念)
  • Document:Document相当于数据库的一行记录
  • Field:相当于数据库的Column的概念
  • Mapping:相当于数据库的Schema的概念
  • DSL:相当于数据库的SQL(给我们读取Elasticsearch数据的API)

 

 

倒排索引是什么?

假设有一个交友网站,信息表如下:

 

 

美女1:“我要找在上海做 PHP 的哥哥。

需要匹配 性别、城市、语言列

美女2:“我要找北京的爱旅游、爱美食的 JAVA 哥哥。

更复杂了是吧,实际场景中,会有更复杂的排列组合。

对于这类的搜索,关系型数据库的索引就很难应付了,适合使用全文搜索的倒排索引。

倒排索引是一种数据库的索引形式,存储了 “内容 -> 文档” 映射关系,目的是快速的进行全文搜索。

2. 倒排索引是怎么工作的?

主要包括2个过程:

  • 创建倒排索引
  • 倒排索引搜索

2.1 创建倒排索引

举个例子,有2个文档:

  • Document#1
Recipe of pasta with sauce pesto
  • Document#2
Recipe of delicious carbonara pasta

先对文档进行分词,形成一个个的 token,也就是 单词,然后保存这些 token 与文档的对应关系。

结果如下:

 

 

2.2 倒排索引搜索

搜索示例:

  • 搜索 “pasta recipe

先分词,得到2个 token,( “pasta”、“recipe” )。

然后去倒排索引中进行匹配。

 

 

这2个词在2个文档中都匹配,所以2个文档都会返回,而且分数相同。

  • 搜索 “carbonara pasta

 

 

同样,2个文档都匹配,都会返回。

这次 document#2 的分数要比 document#1 高。

因为 #2 匹配了2个词(“carbonara”、“pasta”),#1 只匹配了一个(“pasta”)。

2.3 转换

有时我们可以在保存和搜索之前对 token 进行一些转换,最普遍的例如:

  • 扔掉停止词

停止词是那些使用量非常大,但又没有什么意义的词。

例如英文中的 “of”, “the”, “for” ……

  • 元素化

把单词处理为字典中的标准词,例如:

“running” => “run”

“walks” => “walk”

“thought” =>“think”

  • 词干分析

通过切断词尾将一个词转换成词根形式的过程。

不能处理不规则动词的情况,但可以处理字典中没有的词。

 

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部