求TopK的Fagin’s Algorithm和Threshold Algortihm
求TopK的Fagin’s Algorithm和Threshold Algortihm
Vegetable 发表于10个月前
求TopK的Fagin’s Algorithm和Threshold Algortihm
  • 发表于 10个月前
  • 阅读 15
  • 收藏 0
  • 点赞 1
  • 评论 0

移动开发云端新模式探索实践 >>>   

Fagin算法和Threshold算法都是Top-K排序领域的经典算法(K代表只要对前K个值排序值),不同于传统Top-k对一维数组前K个值排序,Fargin和Threshhold算法适用于参考多个排序指标时对前k个物品排序。

举例 

你想买个手机,问了两个对电子产品比较在行的朋友,朋友1给出了这份推荐列表:

而朋友2却给了这份推荐列表:

假如你对两个朋友都同样信任,你该听谁的建议呢?


暴力法--平均两个列表的推荐指数(全计算再求TopK)


根据原来两个推荐列表每项的推荐指数,重新生成一个列表,新列表的每项参考原来列表的值来重新计算;譬如:
V(iphone 5s)=(V1(iphone 5s)+V2(iphone 5s))/2=(10+7)/2=8.5
V(小米3)=(V1(小米3)+V2(小米3))/2=(9+9)/2=9
...............
然后每个型号来比较,这种方法简单暴力,感觉上不高效,因为你只要买一个手机,却要把每个手机权重都计算出来;感觉上只要每个列表比较前面几个就够了,但具体要比较几个呢?却又说不清,这时候就该的Fagin和Threshold算法出马了!

Fagin算法


1.两个列表都选择各自的第一行的项,生成新列表,推荐指数1和推荐指数2各取第一行的iPhone5s和小米3


2.两个列表再取第二行的每项,放到新列表中,取得推荐指数1的小米3和推荐指数2Find7

3.两个列表再取第三行的每项,放到新列表中
........
(直到新列表有一项的值在原先两个推荐指数列表都取到过;可以看到其实第二步就可以停了,因为新列表的小米3的两个值都取到了)
4.补全每项在其他列表中的值

5.就从已获取项里找最推荐的手机,列表其他值没必要看了

所以小米3是最值得入手的!

  • 疑问1:这里总共只取了三个手机来作比较,原先两个列表其他项都没再比较,真的就可以了?
  • 回答:当小米3从原先两个列表都取到了值,这说明原先两个列表再也找不到一个手机品牌推荐指数能比小米3再高了(因为如果有,它至少在原先某个推荐列表排名比小米3高,会已经出现在新列表中了)
  • 疑问2:小米是第一个原先两个列表都获取到值的,所以平均分最高?
  • 回答:就算小米3首先"出线",也不能说小米3是最值得入手的,还需要把iphone 5s和Find 7在其他列表的推荐指数也找出来,将三个一一比较才能知道最后鹿死谁手~(当然第5步比较了发现还是小米3高)

更一般的有:

Threshold算法


1.两个列表都选择各自的第一行的项,生成新列表(这一步和Fargin算法相同)

2.算出两列表取出的第一行的平均值
(V(iphone 5s)+V(小米3))/2=(10+9)/2=9.5作为Threshold
3.补全每项在其他列表中的值   得到iphone5S --8.5,小米3--9

4.看新列表的各手机推荐指数平均值是否大于第2步算出的9.5

    8.5和9都比9.5小,两列表取出下一行数据,重复1~4步,直到Threshold比新列表最大值

例子中在进行一次即可,可以看出iphone 5s和小米3都已经大于(等于)第6步算出的8.5,因而没必要再找了(原先两列表剩下的各项最大平均分也不会超过8.5);对比ihone 5s和小米3的平均分,还是选择了小米3。

更一般的有:

此时k=2

参考文献 Top-k query.pdf

  • 打赏
  • 点赞
  • 收藏
  • 分享
共有 人打赏支持
粉丝 14
博文 37
码字总数 45306
×
Vegetable
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: