robbe+base64+Mysql简易有效的php全文索引实现

原创
2013/03/01 13:49
阅读数 2.3K

确实有很多方法来给php提供全文索引功能。


例如:

1。solr或者lucene,(需要安装对应的php客户端扩展)。

2。sphinx

3。基于任何一个数据库(key/value的最好)的模拟实现。

4。Mysql的全文索引。

5。自己给php加上全文索引扩展。(就因为这一点,可以说有太多的实现方法了)


本文要介绍的是第四种,使用MySQL的全文索引来实现php的全文检索功能。

一。前提

MySQL数据表引擎要是MyISAM (Mysql的ISAM索引结构的实现)


二。准备:

假设建立如下一个简易的文章表格:

+------+---------+-----------+--------------------------------------+
| Id   | title   | author    |  content    | c_idx(text,fulltext)      |
+------+---------+-----------+------------------------------------+

其中content为原文,c_idx为中文分词后的base64编码串接字符串,并且为fulltext索引。

请看下文。


三。实现分析:

1。如果要被检索的内容是英文的,那么要做的事情很简单,给要检索的字段加上一个fulltext索引就可以了。

2。如果被检索的内容是CJK字符集合或者是CJK和英文的混合的话那问题就来了。(我们都知道,MySQL的全文索引不支持中文分词)。

能不能把分词之后中文转换成英文呢?

对,我就是这么想的:

将文章内从content字段的内容进行中文分词,然后将得到的词条转换成英文,再将转换后的词条使用空格串接起来,写入数据库即可。

这需要解决两个问题:

(1).中文分词:

这是搜索引擎的难点之一。速度和准确率是其瓶颈所在。

这里我推荐本人的开源php中文分词扩展robbe,robbe是建立在开源高性能中文分词组建friso上的一个php扩展。也是鄙人的作品。分词速度和准确率都不错。

(2).将中文字符串转换成英文字符串:

使用什么编码呢?想来想去,试来试去,发现base64编码最适合了。(如果有发现更好的编码,请比吝赐教测叫,在此先谢了)。

base64的编码和解码速度都很快。

另外编码后的文本所占的空间比编码前的文本只多一点(比原来长1/3)。

(另外,base64编码后的字符串中可能会包含+和/字符,会影响要MySQL对英文分词,所系需要手动替换一下)


四。具体实现:

<?php
$content = $_POST['content'];  //过滤什么的,就是你的事情啦。

//1.使用复杂模式,对文本进行分词。
//@see robbe文档 https://code.google.com/p/robbe/wiki/RobbeFunctions
$_result = rb_split($content, __RB_COMPLEX_MODE__);

//2.进行base64编码,并且使用空格串接分词结果。
$_str = '';
foreach ( $_result as $_value ) {
    $_str .= ' '.base64_encode($_value);
}

//3.写入文本到fulltext数据表中。
?>


1.查询SQL:

select 字段列表 from #_table where Match(c_idx) Against(检索字符串);

或者:

select #_files, Match(c_idx) Against(检索字符串) AS rank from #_table order by rank

返回的结果是自动根据相关度排序的。

2.或者使用bool模式:

select #_files from #_table where Match(c_idx) Against(检索字符串 IN BOOLEAN MODE)

常用布尔操作符:

+    包含,词必须存在。

-    排除,词必须不出现。

>    包含,而且增加等级值

<    包含,而且减少等级值

()    吧词组合成一个表达式。

~    取消一个词的排序值。

*    词尾通配符。

""    定义一个短语。

例如:

select content from article where Match(c_idx) Against('+你好的base64编码字符串 +我们的base64编码字符串' IN BOOLEAN MODE)

查询包含你好和我们的记录。

-----------------------------------------------

select content from article where Match(c_idx) Against('你好的base64编码字符串 我们的base64编码字符串' IN BOOLEAN MODE)

查询至少包含“你好”和“我们”中的一个的记录。

-----------------------------------------------

select content from article where Match(c_idx) Against('“你好的base64编码字符串 我们的base64编码字符串”' IN BOOLEAN MODE)


搜索匹配短语:“你好 我们”

-----------------------------------------------

select content from article where Match(c_idx) Against('>你好的base64编码字符串 <我们的base64编码字符串' IN BOOLEAN MODE)

匹配“你好”和“我们”,并且增加“你好”的等级,减少“我们”的等级。

3.使用查询扩展:4.11或者更高版本才支持。

select #_files from #_table where Match(c_idx) Against(检索字符串 WITH QUERY EXPANSION)

五。效率分析:

对于一般数据来的网站,例如:个人博客,企业文章,新闻什么的,(60W以下的数据记录条数)

使用此方法可以比较好的解决搜索问题,但是数据量大时,并不是很好的解决办法。

30W的数据记录(平均大小10K),平均查询0.02sec的样子。还算不错吧。

索引的内容不一定是全文(即c_idx字段的内容),可以是人工筛选后的核心性词组合。那样可以达到更好的检索效果和更快的检索速度。

展开阅读全文
打赏
0
9 收藏
分享
加载中
狮子的魂博主

引用来自“blackfox”的评论

我又测试了以下,如果都把要查的字段都建索引的话,速度还能提升100多倍的样子。

没试过, 找个时间试下...
2013/10/18 16:37
回复
举报
我又测试了以下,如果都把要查的字段都建索引的话,速度还能提升100多倍的样子。
2013/10/18 15:57
回复
举报
更多评论
打赏
2 评论
9 收藏
0
分享
返回顶部
顶部