文档章节

工作记录:一个模糊匹配关键词搜索的功能需求

子夜闻雪
 子夜闻雪
发布于 2015/12/31 17:29
字数 563
阅读 304
收藏 3

    工作开始,以为是很简单的需求,所以直接用django的orm提供的contains方法进行的搜索处理。

images = Image.objects.filter(tips__contains=key)[(page-1)*count:page*count]

    通过打印sql查看,这句会生成如下:

    SELECT * FROM `image` WHERE `image`.`tips` LIKE BINARY '%我要吃饭%';(将参数用*代替了)

    但这个只能搜索到image记录的tips包含“我要吃饭”的记录。而需求是如果输入的是“我要吃饭”, 那么应该返回包含‘我要’, ‘吃饭’的记录。

    这里好像是需要自然语言处理的方面吧,本人没有研究过,但放倒这个需求中,我的考虑是直接将传递进来的key分割成len()大于等于2的词组(需求上不用考虑英文)。然后将这些词组都进行contains处理,中间用or关系链接。

    先是实现分割词组:

def getWordsByKey(key):
   result = [key,]
   if len(key) > 2:
      result += getWordsByKey(key[1:])
      result += getWordsByKey(key[:-1])
   return list(set(result))

    这里用了迭代的方式即可将传入的key切割成需要的词组数组。

    然后or的关系在django中可以用Q来实现,但是这时我并不知道返回的这个关键字数字有多少个,不好用这种方式去直接实现。

    到这里,我准备直接自己拼凑sql去实现,正好,之前看到了一个django 的orm方法raw,https://docs.djangoproject.com/en/1.9/ref/models/querysets/#raw, 所以准备尝试用raw,如果可以的话,它可以帮助我将数据库中查找到的数据转成业务上Image的对象。

    先循环之前获取到的关键字列表构造需要的sql语句:

keys = getWordsByKey(key)
sql = "SELECT id,name,hot_level,url,img_set_id,is_hot,is_new,use_count,from_way, tips   FROM image WHERE "
keys_len = len(keys)
for index, each in enumerate(keys):
   sql += u" tips LIKE BINARY '%%"+each+"%%'"
   if index < keys_len - 1:
      sql += ' or '

    然后使用raw执行sql语句:

images = Image.objects.raw(sql)
for each in images:
   imgs_data.append(each.tojson())

    测试能够正常得到需要的功能。 

end.



© 著作权归作者所有

共有 人打赏支持
子夜闻雪
粉丝 3
博文 37
码字总数 16415
作品 0
海淀
程序员
私信 提问
加载中

评论(1)

雲竹無心
雲竹無心
采用分词
MYSQL查找匹配问题

text字段是文章关键词填写使用逗号隔开,比如我模糊搜索 %天安门% keywords字段 文章表字段字段内容: id keywords 1 北京天安门,北京王府井,北京中关村 2 天安门,天安门城楼,天安门池塘 就会...

eechen的粉丝
2014/04/25
72
1
利用Kibana图表化Elasticsearch中的数据

利用Kibana图表化Elasticsearch中的数据 1. 背景 Kibana 是一个开源分析和可视化平台,旨在可视化操作 Elasticsearch 。Kibana可以用来搜索,查看,和存储在 Elasticsearch 索引中的数据进行...

zwq912318834
2017/11/28
0
0
ElasticSearch笔记系列(9)——子条件查询(上)Query context

上一篇对查询按照简单查询、条件查询、聚合查询进行了分类,并逐一介绍了基本用法。 本文对条件查询再进行分类,介绍子条件查询和复合条件查询。 条件查询分类 子条件查询:特定字段查询 所指...

HappyBKs
04/22
0
0
#研发解决方案#discache-分布式缓存查询与管理系统

郑昀 基于马海元和闫小波的文档 关键词:memcached、redis、分布式缓存、控制台、反序列化、Java 本文档适用人员:研发和运维员工 提纲: 如何查看缓存里的序列化数据? 批量删除来一个 监控...

旁观者-郑昀
2015/06/01
0
0
zg手册 之 Mysql 开发(1)-- 中文全文检索插件开发

目前的中文检索查询方案 基于数据库的模糊匹配(运行时字符串查找,查询速度比较慢) 专有的全文检索引擎(sphinx, lucene等) 我曾经遇到一个项目,数据量在百万级别,不需要高级的全文检索...

东昕
2014/06/02
0
0

没有更多内容

加载失败,请刷新页面

加载更多

关于ComponentOne For WinForm 的全新控件 – DataFilter数据切片器(Beta)

概述 数据切片器在电子商务网站上很常见 - 它们可以帮助用户快速过滤所选商品,并且所有过滤选项都可以在一个地方使用,通常包含核心控件类型为:清单,范围栏和单选按钮等。在ComponentOne ...

葡萄城技术团队
13分钟前
1
0
Spring Data JPA 常见异常

异常一: Caused by: org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'userRepository': Invocation of init method failed; nested exception i......

小99
13分钟前
1
0
聊聊flink的EventTime

序 本文主要研究一下flink的EventTime SourceFunction flink-streaming-java_2.11-1.7.0-sources.jar!/org/apache/flink/streaming/api/functions/source/SourceFunction.java /** * Inte......

go4it
26分钟前
1
0
如何解决 homebrew 更新慢的问题

之前一直困扰于 Homebrew 的更新速度,曾试过修改更新源(清华、中科大等)的方式,但是并没什么卵用;也试过设置 curl 代理的方式,但是 brew 走的好像不是 curl 的方式,所以也没用。 通过...

whoru
31分钟前
4
0
TiDB EcoSystem Tools 原理解读系列(二)TiDB-Lightning Toolset 介绍

简介 TiDB-Lightning Toolset 是一套快速全量导入 SQL dump 文件到 TiDB 集群的工具集,自 2.1.0 版本起随 TiDB 发布,速度可达到传统执行 SQL 导入方式的至少 3 倍、大约每小时 100 GB,适合...

TiDB
33分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部