加载中
hadoop平台wordcount程序的python实现

尽管Hadoop框架是用java写的,但是Hadoop程序不限于java,可以用python、C++、ruby等。本例子中直接用python写一个MapReduce实例,而不是用Jython把python代码转化成jar文件。...

python之迭代器和生成器

本文以实例详解了python的迭代器与生成器,具体如下所示: 1. 迭代器概述: 迭代器是访问集合元素的一种方式。迭代器对象从集合的第一个元素开始访问,直到所有的元素被访问完结束。迭代器只...

Mac开发系列之python多版本和环境管理(pyenv和virtualenv安装配置使用)

python是一门不管是在编程开发或是系统运维上面的应用极广的脚本语言,服务器的一些自动化的工作一般都选择使用python来解决,开发效率极高。在开发过程中我们经常会面临python的多版本管理问...

网络爬虫详解与python实现

网络爬虫是捜索引擎抓取系统的重要组成部分。爬虫的主要目的是将互联网上的网页下载到本地形成一个或联网内容的镜像备份。这篇博客主要对爬虫以及抓取系统进行一个简单的概述。 一、网络爬虫...

2015/06/10 11:38
136
Hits算法详解及python实现

本文简要介绍了目前搜索引擎中应用较为广泛的一种算法——HITS算法。HITS算法是Web结构挖掘中最具有权威性和使用最广泛的算法。其基本思想是利用页面之间的引用链来挖掘隐含在其中的有用信息...

搜索引擎之朴素贝叶斯文本分类

文本分类(Text Classification) 文本分类的任务 把一个未见过的文档分成已知类别中的一个或多个 单层分类 多层分类 应用文本分类 对新闻或商品网页分类。例如:新闻是国内新闻还是国际新闻 ...

NoSQL数据库的分布式算法

本文译自 Distributed Algorithms in NoSQL Databases 系统的可扩展性是推动NoSQL运动发展的的主要理由,包含了分布式系统协调,故障转移,资源管理和许多其他特性。这么讲使得NoSQL听起来像...

2015/06/10 23:55
105
64位Ubuntu14.04编译hadoop2.6

由于官方的hadoop是在32位机子上编译的,故64位linux系统需下载hadoop源码进行编译后才能使用

2015/04/03 16:13
45
Goroutine并发调度模型深度解析&手撸一个协程池

并发(并行),一直以来都是一个编程语言里的核心主题之一,也是被开发者关注最多的话题;Go语言作为一个出道以来就自带 『高并发』光环的富二代编程语言,它的并发(并行)编程肯定是值得开...

2018/07/01 09:05
47
hadoop自带例子程序wordcount详解

wordcount程序是hadoop中自带的一个程序,虽然是一个小程序,但是却完整地展现了hadoop的mapreduce编程模型,下面就来深入剖析这个程序,让初学者加深对mapreduce的理解。...

深入golang之---goroutine并发控制与通信

开发go程序的时候,时常需要使用goroutine并发处理任务,有时候这些goroutine是相互独立的,而有的时候,多个goroutine之间常常是需要同步与通信的。另一种情况,主goroutine需要控制它所属的...

Go
2018/06/23 10:28
17
64位Ubuntu14.04下安装hadoop2.6单机配置和伪分布配置详解

环境 系统: Ubuntu 14.04 64bit Hadoop版本: Hadoop 2.6.0 (stable) JDK版本: oracle jdk7 第一步 在Ubuntu下创建hadoop用户组和用户 创建hadoop用户组 sudo addgroup hadoop 2.创建...

java之hashtable和hashmap

hashtable和hashmap是java里面常见的容器类,是Java.uitl包下面的类, 那么Hashtable和Hashmap是怎么实现hash键值对配对的呢,我们看看jdk里面的源码,分析下Hashtable的构造方法,put(K, V)...

构建自己的搜索引擎之Lucene详解

要开发自己的搜索引擎,就不得不用到Apache基金会的Luence项目,这个项目是一个开放源代码的全文检索引擎工具包,利用Lucene,可以很快捷地开发出自己的搜索引擎。

2015/04/17 23:32
166
Ubuntu下通过PPA仓库安装JDK

在Ubuntu14.04下通过PPA仓库安装JDK,这样就无需自己配置环境变量,完全自动配置好,比较方便,而且还可以保持JDK的版本是最新的.

2015/04/03 15:22
153
hadoop下基于mapreduce实现pagerank算法

PageRank,网页排名,又称网页级别、Google左侧排名或佩奇排名,是一种由[1] 根据网页之间相互的超链接计算的技术,而作为网页排名的要素之一,以Google公司创办人拉里·佩奇(Larry Page)之...

MySQL索引背后的数据结构及算法原理

本文以MySQL数据库为研究对象,讨论与数据库索引相关的一些话题。特别需要说明的是,MySQL支持诸多存储引擎,而各种存储引擎对索引的支持也各不相同,因此MySQL数据库支持多种索引类型,如B...

2015/05/10 22:43
13

没有更多内容

加载失败,请刷新页面

返回顶部
顶部