文档章节

求TopK的Fagin’s Algorithm和Threshold Algortihm

Vegetable
 Vegetable
发布于 2017/07/25 13:35
字数 1029
阅读 26
收藏 0

Fagin算法和Threshold算法都是Top-K排序领域的经典算法(K代表只要对前K个值排序值),不同于传统Top-k对一维数组前K个值排序,Fargin和Threshhold算法适用于参考多个排序指标时对前k个物品排序。

举例 

你想买个手机,问了两个对电子产品比较在行的朋友,朋友1给出了这份推荐列表:

而朋友2却给了这份推荐列表:

假如你对两个朋友都同样信任,你该听谁的建议呢?


暴力法--平均两个列表的推荐指数(全计算再求TopK)


根据原来两个推荐列表每项的推荐指数,重新生成一个列表,新列表的每项参考原来列表的值来重新计算;譬如:
V(iphone 5s)=(V1(iphone 5s)+V2(iphone 5s))/2=(10+7)/2=8.5
V(小米3)=(V1(小米3)+V2(小米3))/2=(9+9)/2=9
...............
然后每个型号来比较,这种方法简单暴力,感觉上不高效,因为你只要买一个手机,却要把每个手机权重都计算出来;感觉上只要每个列表比较前面几个就够了,但具体要比较几个呢?却又说不清,这时候就该的Fagin和Threshold算法出马了!

Fagin算法


1.两个列表都选择各自的第一行的项,生成新列表,推荐指数1和推荐指数2各取第一行的iPhone5s和小米3


2.两个列表再取第二行的每项,放到新列表中,取得推荐指数1的小米3和推荐指数2Find7

3.两个列表再取第三行的每项,放到新列表中
........
(直到新列表有一项的值在原先两个推荐指数列表都取到过;可以看到其实第二步就可以停了,因为新列表的小米3的两个值都取到了)
4.补全每项在其他列表中的值

5.就从已获取项里找最推荐的手机,列表其他值没必要看了

所以小米3是最值得入手的!

  • 疑问1:这里总共只取了三个手机来作比较,原先两个列表其他项都没再比较,真的就可以了?
  • 回答:当小米3从原先两个列表都取到了值,这说明原先两个列表再也找不到一个手机品牌推荐指数能比小米3再高了(因为如果有,它至少在原先某个推荐列表排名比小米3高,会已经出现在新列表中了)
  • 疑问2:小米是第一个原先两个列表都获取到值的,所以平均分最高?
  • 回答:就算小米3首先"出线",也不能说小米3是最值得入手的,还需要把iphone 5s和Find 7在其他列表的推荐指数也找出来,将三个一一比较才能知道最后鹿死谁手~(当然第5步比较了发现还是小米3高)

更一般的有:

Threshold算法


1.两个列表都选择各自的第一行的项,生成新列表(这一步和Fargin算法相同)

2.算出两列表取出的第一行的平均值
(V(iphone 5s)+V(小米3))/2=(10+9)/2=9.5作为Threshold
3.补全每项在其他列表中的值   得到iphone5S --8.5,小米3--9

4.看新列表的各手机推荐指数平均值是否大于第2步算出的9.5

    8.5和9都比9.5小,两列表取出下一行数据,重复1~4步,直到Threshold比新列表最大值

例子中在进行一次即可,可以看出iphone 5s和小米3都已经大于(等于)第6步算出的8.5,因而没必要再找了(原先两列表剩下的各项最大平均分也不会超过8.5);对比ihone 5s和小米3的平均分,还是选择了小米3。

更一般的有:

此时k=2

参考文献 Top-k query.pdf

© 著作权归作者所有

共有 人打赏支持
Vegetable
粉丝 17
博文 46
码字总数 46625
作品 0
杭州
Point-In-Polygon Algorithm

Figure 1 Figure 1 demonstrates a typical case of a severely concave polygon with 14 sides. The red dot is a point which needs to be tested, to determine if it lies inside the po......

山哥
2016/11/07
14
0
Top K Frequent Items Algorithm

Top K Frequent Items Algorithm Zhipeng Jiang2017-11-141 阅读 Top K frequent elements is a classic interview question that requires a basic understanding of HashMap and Heap. In ......

Zhipeng Jiang
2017/11/14
0
0
机器学习中的supervised learning,unsupervised learning

Have You Heard About Unsupervised Decision Trees Posted by William Vorhies on October 17, 2017 at 8:30am View Blog Summary: Unless you’re involved in anomaly detection you may ......

huangsheng2
2017/10/27
0
0
Modular Arithmetic

模运算基础知识 https://www.khanacademy.org/computing/computer-science/cryptography/modarithmetic/a/what-is-modular-arithmetic An Introduction to Modular Math When we divide two ......

廖少少
10/09
0
0
Mahout推荐算法之SlopOne

一、 算法原理 有别于基于用户的协同过滤和基于item的协同过滤,SlopeOne采用简单的线性模型估计用户对item的评分。如下图,估计UserB对ItemJ的偏好 图(1) 在真实情况下,该方法有如下几个...

xiaomin0322
06/19
0
0

没有更多内容

加载失败,请刷新页面

加载更多

django rest framework 外键序列化方法与问题总结

django rest framework 外键序列化方法与问题总结 当借口中需要出现一对多关系的时候,我们可以用rest_framwork的序列化功能来处理,代码如下. # models.pyfrom django.db import modelscl...

_Change_
昨天
0
0
SingleNumber136 leetCode

Given a non-empty array of integers, every element appears twice except for one. Find that single one. Note: Your algorithm should have a linear runtime complexity. Could you im......

woshixin
昨天
1
0
String ,  StringBuffer ,  StringBuilder的区别

String , StringBuffer , StringBuilder的区别 String 首先,String 是用来表示一个字符串常量的,它是一个不可变对象,意味着,一旦我们创建了某个字符串之后,就不能再改变它的值了,我们可...

tsmyk0715
昨天
3
0
区块链100讲:UTXO 和 Account 模型对比

在当前区块链世界中,主要有两种记录保存方式,UTXO 模式(Unspent Transaction Output) 和 Account 模式。Bitcoin 采用的是 UTXO 模型,Ethereum 采用的 Account 模型,同样 CITA 也采用了 ...

HiBlock
昨天
1
0
Vue中路由管理器Vue Router使用介绍(三)

一、路由定义添加动态参数定义 1.路由定义项,使用:xx 方式 定义动态参数 { path:'/user/:id/:name', name:'user', component:()=>import('./views/User.vue') ...

tianma3798
昨天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部