加载中
Hits算法详解及python实现

本文简要介绍了目前搜索引擎中应用较为广泛的一种算法——HITS算法。HITS算法是Web结构挖掘中最具有权威性和使用最广泛的算法。其基本思想是利用页面之间的引用链来挖掘隐含在其中的有用信息...

搜索引擎之未登录词(Out Of Vocabulary)识别问题

有人问道:南京市长叫江大桥? 你怎么知道的? 因为看到一个标语——南京市长江大桥欢迎您。 未登录词识别问题也叫做:命名实体识别(Named Entity Recognition) 常见的未登录词包括: 人名:...

构建自己的搜索引擎之Lucene详解

要开发自己的搜索引擎,就不得不用到Apache基金会的Luence项目,这个项目是一个开放源代码的全文检索引擎工具包,利用Lucene,可以很快捷地开发出自己的搜索引擎。

2015/04/17 23:32
166
网络爬虫详解与python实现

网络爬虫是捜索引擎抓取系统的重要组成部分。爬虫的主要目的是将互联网上的网页下载到本地形成一个或联网内容的镜像备份。这篇博客主要对爬虫以及抓取系统进行一个简单的概述。 一、网络爬虫...

2015/06/10 11:38
136
世界名画陈列馆问题(回溯法)

一、算法问题描述: 世界名画陈列馆问题。世界名画陈列馆由m×n个排列成矩形阵列的陈列室组成。为了防止名画被盗,需要在陈列室中设置警卫机器人哨位。每个警卫机器人除了监视它所在的陈列室...

2015/04/29 11:56
1K
Hash算法之MD5算法详解及实现

MD5即Message-Digest Algorithm 5(信息-摘要算法5),用于确保信息传输完整一致。是计算机广泛使用的杂凑算法之一(又译摘要算法、哈希算法),主流编程语言普遍已有MD5实现。将数据(如汉字...

搜索引擎之有限状态机

中文分词中用规则识别的词 数字:123,456.781 90.7% 3/8 11/20/2000 日期:1998年 2009年12月24日10:30 缩略(包含不同的情况): 字母-点号-字母-点号组成的序列,比如:U.S. i.e. 等...

Mac开发系列之python多版本和环境管理(pyenv和virtualenv安装配置使用)

python是一门不管是在编程开发或是系统运维上面的应用极广的脚本语言,服务器的一些自动化的工作一般都选择使用python来解决,开发效率极高。在开发过程中我们经常会面临python的多版本管理问...

协同过滤Item-based算法实现电影推荐系统

采用离线式计算推荐给每位用户的电影,采用Item-based算法并做了适当修改,主要分两部分: 1.计算电影的相似度:利用调整的余弦相似度计算方法; 2.相似度加权求和:使用用户已打分的电影的分...

用Dijkstra算法求解无向图的最短路径

  Dijkstra算法是典型的算法。Dijkstra算法是很有代表性的算法。Dijkstra一般的表述通常有两种方式,一种用永久和临时标号方式,一种是用OPEN, CLOSE表的方式,这里均采用永久和临时标号的...

hadoop下基于mapreduce实现pagerank算法

PageRank,网页排名,又称网页级别、Google左侧排名或佩奇排名,是一种由[1] 根据网页之间相互的超链接计算的技术,而作为网页排名的要素之一,以Google公司创办人拉里·佩奇(Larry Page)之...

mapreduce之数据去重和数据排序实例

数据去重: 数据去重,只是让出现的数据仅一次,所以在reduce阶段key作为输入,而对于values-in没有要求,即输入的key直接作为输出的key,并将value置空。具体步骤类似于wordcount: Tip:输...

hadoop自带例子程序wordcount详解

wordcount程序是hadoop中自带的一个程序,虽然是一个小程序,但是却完整地展现了hadoop的mapreduce编程模型,下面就来深入剖析这个程序,让初学者加深对mapreduce的理解。...

搜索引擎之朴素贝叶斯文本分类

文本分类(Text Classification) 文本分类的任务 把一个未见过的文档分成已知类别中的一个或多个 单层分类 多层分类 应用文本分类 对新闻或商品网页分类。例如:新闻是国内新闻还是国际新闻 ...

Ubuntu下通过PPA仓库安装JDK

在Ubuntu14.04下通过PPA仓库安装JDK,这样就无需自己配置环境变量,完全自动配置好,比较方便,而且还可以保持JDK的版本是最新的.

2015/04/03 15:22
153
数据库内部排序算法之两阶段多路归并排序算法实现

两阶段归并排序算法是数据库查询的一个基础技术,在数据库应用中,常常采用“两阶段多路归并排序算法”来解决对海量数据的排序问题(这里的海量数据是指数据大小远远超过了数据库可用的主存的...

Lucene与中文分词

词是最小的能够独立活动的有意义的语言成分,英文单词之间是以空格作为自然分界符的,而汉语是以字为基本的书写单位,词语之间没有明显的区分标记,因此,中文词语分析是中文信息处理的基础与...

2015/04/29 09:50
140
hadoop平台wordcount程序的python实现

尽管Hadoop框架是用java写的,但是Hadoop程序不限于java,可以用python、C++、ruby等。本例子中直接用python写一个MapReduce实例,而不是用Jython把python代码转化成jar文件。...

操作系统之存储管理

操作系统中的存储管理的主要功能之一是合理地分配空间。请求页式管理是一种常用的虚拟存储管理技术。本博文的目的是通过请求页式管理中页面置换算法模拟设计,帮助理解虚拟存储技术的特点,理...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部