加载中
mapreduce之数据去重和数据排序实例

数据去重: 数据去重,只是让出现的数据仅一次,所以在reduce阶段key作为输入,而对于values-in没有要求,即输入的key直接作为输出的key,并将value置空。具体步骤类似于wordcount: Tip:输...

MapReduce实现自定义二次排序

MapReduce框架对处理结果的输出会根据key值进行默认的排序,这个默认排序可以满足一部分需求,但是也是十分有限的。在我们实际的需求当中,往往有要对reduce输出结果进行二次排序的需求。对于...

MySQL索引背后的数据结构及算法原理

本文以MySQL数据库为研究对象,讨论与数据库索引相关的一些话题。特别需要说明的是,MySQL支持诸多存储引擎,而各种存储引擎对索引的支持也各不相同,因此MySQL数据库支持多种索引类型,如B...

2015/05/10 22:43
14
数据库内部排序算法之两阶段多路归并排序算法实现

两阶段归并排序算法是数据库查询的一个基础技术,在数据库应用中,常常采用“两阶段多路归并排序算法”来解决对海量数据的排序问题(这里的海量数据是指数据大小远远超过了数据库可用的主存的...

数据库内部排序算法之两阶段多路归并排序算法实现

摘要: 两阶段归并排序算法是数据库查询的一个基础技术,在数据库应用中,常常采用“两阶段多路归并排序算法”来解决对海量数据的排序问题(这里的海量数据是指数据大小远远超过了数据库可用的...

2018/05/11 10:52
21
hadoop平台wordcount程序的python实现

尽管Hadoop框架是用java写的,但是Hadoop程序不限于java,可以用python、C++、ruby等。本例子中直接用python写一个MapReduce实例,而不是用Jython把python代码转化成jar文件。...

搜索引擎之词典查找

散列与最长词匹配: 散列是一种常见的高效查找方法,它根据数组下标查询,所以速度快。首先根据词表构造散列表,具体来说就是用给定的散列函数构造词典到数组下标的映射,如果存在冲突,则根...

构建自己的搜索引擎之Lucene详解

要开发自己的搜索引擎,就不得不用到Apache基金会的Luence项目,这个项目是一个开放源代码的全文检索引擎工具包,利用Lucene,可以很快捷地开发出自己的搜索引擎。

2015/04/17 23:32
965
hadoop自带例子程序wordcount详解

wordcount程序是hadoop中自带的一个程序,虽然是一个小程序,但是却完整地展现了hadoop的mapreduce编程模型,下面就来深入剖析这个程序,让初学者加深对mapreduce的理解。...

基于MapReduce的ItemBase推荐算法的共现矩阵实现

一、概述 这2个月为公司数据挖掘系统做一些根据用户标签情况对用户的相似度进行评估,其中涉及一些推荐算法知识,在这段时间研究了一遍《推荐算法实践》和《Mahout in action》,在这里主要是...

网络爬虫详解与python实现

网络爬虫是捜索引擎抓取系统的重要组成部分。爬虫的主要目的是将互联网上的网页下载到本地形成一个或联网内容的镜像备份。这篇博客主要对爬虫以及抓取系统进行一个简单的概述。 一、网络爬虫...

2015/06/10 11:38
317
Hits算法详解及python实现

本文简要介绍了目前搜索引擎中应用较为广泛的一种算法——HITS算法。HITS算法是Web结构挖掘中最具有权威性和使用最广泛的算法。其基本思想是利用页面之间的引用链来挖掘隐含在其中的有用信息...

Lucene构建个人搜索引擎解析

Lucene是什么? Lucene是apache软件基金会4 jakarta项目组的一个子项目,是一个开放源代码的全文检索引擎工具包,但它不是一个完整的全文检索引擎,而是一个全文检索引擎的架构,提供了完整的...

协同过滤Item-based算法实现电影推荐系统

采用离线式计算推荐给每位用户的电影,采用Item-based算法并做了适当修改,主要分两部分: 1.计算电影的相似度:利用调整的余弦相似度计算方法; 2.相似度加权求和:使用用户已打分的电影的分...

协同过滤Item-based算法实现电影推荐系统

摘要: 采用离线式计算推荐给每位用户的电影,采用Item-based算法并做了适当修改, 主要分两部分: 计算电影的相似度:利用调整的余弦相似度计算方法; 相似度加权求和:使用用户已打分的电影...

2018/06/08 21:25
12
深入golang之---goroutine并发控制与通信

开发go程序的时候,时常需要使用goroutine并发处理任务,有时候这些goroutine是相互独立的,而有的时候,多个goroutine之间常常是需要同步与通信的。另一种情况,主goroutine需要控制它所属的...

go
2018/05/21 11:14
14
深入golang之---goroutine并发控制与通信

开发go程序的时候,时常需要使用goroutine并发处理任务,有时候这些goroutine是相互独立的,而有的时候,多个goroutine之间常常是需要同步与通信的。另一种情况,主goroutine需要控制它所属的...

Go
2018/06/23 10:28
75
MongoDB替换MySQL?

没有什么替换不替换的,都是看具体业务需要。 就如同C语言之于编程语言一般,C语言都诞生这么多年了,一直有新的语言出来说要替换掉C,但是谁做到了,C现在还是最受欢迎的编程语言。 以mongo...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部