Lucene 8.x 使用 FunctionScoreQuery 实现自定义的文档评分

原创
2020/12/01 19:04
阅读数 3.7K

在使用不管是 Lucene 或者 ElasticSearch 进行全文搜索中,检索到文档很简单,但是把搜索者最想要的结果排在最前面,这是最具挑战性的。

我们举个最简单的例子:假设我们需要做一个博客搜索,当我们用 Lucene 默认的匹配度进行排序,那你可能会发现搜索出来的都是一堆垃圾文章。所以一般我们会把博客文章的其他因素作为排序方法来替代匹配度。例如会考虑 “阅读数、文章长度、是否编辑推荐” 等诸多扩展因素综合进行排序。

这种时候我们一般会构造一个包含多个 SortField 的 Sort 对象,例如前面提到的阅读数、长度、是否推荐等。

但是!这个排序对象在搜索前就已经固定下来的,这样可能会出现一种情况,一些相关度非常低,但它的阅读数很高,同时又是编辑推荐的博客文章会排在前面。

有没有这样一种可能,我想根据不同的内容相关度,再结合文章的一些扩展指标来进行排序。比如,当我在搜博客的时候,只有当相关度大于某个值的时候,我会通过这些文章扩展指标来加分,让这些被推荐的文章排在前面。

这里就要用到 lucene 的 FunctionScoreQuery 来实现了,在老的版本里,是一个叫 CustomScoreQuery 的类,在新版已经被废弃了。 Lucene 的 API 就是这么变态,新版本发布经常都会有 API 的大变更。

大概的使用过程是这样的:

0. 需要引用的类

import org.apache.lucene.expressions.Expression;
import org.apache.lucene.expressions.SimpleBindings;
import org.apache.lucene.expressions.js.JavascriptCompiler;
import org.apache.lucene.queries.function.FunctionScoreQuery;
import org.apache.lucene.queryparser.classic.ParseException;

1. 首先定义一个变量表:

SimpleBindings bindings = new SimpleBindings();
bindings.add("$score", DoubleValuesSource.SCORES);
bindings.add("$recomm", DoubleValuesSource.fromIntField("recomm"));
bindings.add("$viewcount", DoubleValuesSource.fromIntField("viewcount"));
bindings.add("$wordcount", DoubleValuesSource.fromIntField("wordcount"));

2. 定义一个自定义排序的表达式:

String sort_method= "mysort($score,$recomm,$viewcount,$wordcount)";

HashMap<String, Method> scoreMethods = new HashMap();
scoreMethods.put("mysort", getClass().getDeclaredMethod("mysort", double.class, double.class, double.class, double.class));
            
Expression expr = JavascriptCompiler.compile(sort_method, scoreMethods, getClassLoader());

注意这里的 scoreMethods 用来存放所有自定义函数对应的 Java 方法,如下所示:

3. 定义一个 mysort 方法,接受 double 参数,返回 double 参数

public double mysort(double score, double recomm, double viewcount, double wordcount) {
    if(score >= 40) {
        if(recomm > 0)
            score += 100;
        if(viewcount >= 1000)
            score += 100;
        if(wordcount >= 200)
            score += 20;
    }
    return score;
}

4. 接下来你就可以使用 FunctionScoreQuery 

FunctionScoreQuery query = new FunctionScoreQuery(oldQuery, expr.getDoubleValuesSource(bindings));

这里的 oldQuery 就是你原先用来做全文搜索的 Query 实例。

你可以试试打印一下 query 看看,我这边一个真实打印的结果如下:

FunctionScoreQuery(+type:[2 TO 2] +fork:[0 TO 0] +(((+name:j2cache)^20.0 (+description:j2cache)^10.0 (+detail:j2cache)^1.0 (+tags:j2cache)^10.0 (+catalogs:j2cache)^10.0 (+owner.name:j2cache)^2.0)~1), scored by expr(repo_sort($score,$recomm,$stars,$gindex)))

最后

当使用 FunctionScoreQuery 后,排序的时候只需要直接用 Sort.RELEVANCE 即可。

尝试一下吧,不过当结果集很大的时候 FunctionScoreQuery 的效率会比较差,具体需要在实际的环境中进行验证。

展开阅读全文
打赏
1
4 收藏
分享
加载中
更多评论
打赏
0 评论
4 收藏
1
分享
返回顶部
顶部