文档章节

关于larbin的编译

harvard
 harvard
发布于 2013/08/19 22:10
字数 220
阅读 494
收藏 0

记得以前同事安装过一次,还是我帮着弄好的,最近对web crawler感兴趣,所以就拿来看看。

从sourceforge下载了larbin2.6.3

解压,进入larbin的主目录

./configure ;一堆warning,还发现了一个error:为函数声明和定义不一致所引起的,修改成一致的就OK了。

若是出现gmake[2]: *** [dep-in] Error 127之类错误

需要安装makedepend工具:

# yum install imake

make;这个也会报一堆错:错误是因为larbin是由C++编写的,2006年的C++类库的使用和现在差异有些不同。此处错误的修正方式:将所有的

#include<iostream.h>

变成

#include<iostream>

即可,然后在引用cerr的.cc文件中加入

using namespace std;

即可。

./larbin

在oschina上找到larbin的安装文章:《网页爬虫之 Larbin 安装方法》,这篇文章过期了。

© 著作权归作者所有

共有 人打赏支持
下一篇: 算法笔记
harvard
粉丝 4
博文 44
码字总数 14152
作品 0
北京
架构师
私信 提问
加载中

评论(2)

harvard
harvard

引用来自“xnhcx”的评论

iostream.h可以建个本地文件,在源代码目录即可,然后include iostream和using写进去,省得改很多处。刚搞了个ubuntu下好用的版本,github搜用户githcx可见。

这个方法不错;找到规律就好办了,要不然错误零散,还是大改。
xnhcx
xnhcx
iostream.h可以建个本地文件,在源代码目录即可,然后include iostream和using写进去,省得改很多处。刚搞了个ubuntu下好用的版本,github搜用户githcx可见。
网页爬虫之 Larbin 安装方法

Larbin的使用方法 安装步骤: 1. 找台机器安装Linux系统,本人选择的版本是Redhat 9。 2. 网上下载源码 3. 解压:tar –zxvf larbin-2.6.3.tar.gz 4. 进入到larbin-2.6.3目录 5. 修改编译选项...

红薯
2010/03/02
4.7K
5
ubuntu12.04下网络爬虫 larbin 的安装

准备工作:1.安装gcc: sudo apt-get install gcc安装g++: sudo apt-get install g++安装xutils-dev:sudo apt-get install xutils-dev安装make: sudo apt-get install make2.到官网下载larbi......

lcj1992
2013/11/14
0
0
网络爬虫/网络蜘蛛--larbin

larbin是一种开源的网络爬虫/网络蜘蛛,由法国的年轻人 Sébastien Ailleret独立开发。larbin目的是能够跟踪页面的url进行扩展的抓取,最后为搜索引擎提供广泛的数据来源。Larbin只是一个爬虫...

匿名
2010/03/02
22.9K
1
爬虫Larbin解析(二)——sequencer()

分析的函数: void sequencer() //位置:larbin-2.6.3/src/fetch/sequencer.cc void sequencer(){ } 所在的文件 larbin-2.6.3/src/fetch/sequencer.h、larbin-2.6.3/src/fetch/sequencer.cc V......

技术mix呢
2017/11/14
0
0
开源爬虫Labin,Nutch,Neritrix介绍和对比

Larbin 开发语言:C++ http://larbin.sourceforge.net/index-eng.html larbin是个基于C++的web爬虫工具,拥有易于操作的界面,不过只能跑在LINUX下,在一台普通PC下larbin每天可以爬5百万个页...

zplswf
2012/12/11
0
1

没有更多内容

加载失败,请刷新页面

加载更多

以太坊PHP离线交易开发包

EthTool开发包适用于希望采用裸交易的PHP以太坊应用开发,主要包含以下特性: 支持裸交易部署/调用合约 内置etherscan和infura支持 keystore生成与读取,兼容geth/parity 采用裸交易的一个好...

笔阁
17分钟前
0
0
SRE的含义及与 DevOps 如何关联?

虽然站点可靠性工程师(site reliability engineer SRE)角色在近几年变得流行起来,但是很多人 —— 甚至是软件行业里的 —— 还不知道 SRE 是什么或者 SRE 都干些什么。为了搞清楚这些问题...

linuxCool
18分钟前
1
0
月入3万之一个程序员的转行坎坷历程

陈年往事 “我月入3万,怎么会少少了你一个鸡蛋啊?” 这是2017年9月左右的一个新闻,一位煎饼摊大妈因和顾客争执时脱口而出这样一句话而走红。当时还上了各大新闻的头条。 互联网兴起今天,...

苏南-首席填坑官
39分钟前
1
1
OSChina 周一乱弹 —— 眼看着这颗陨石砸了下来

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @莱布妮子:分享Nachtblut的单曲《Antik》 《Antik》- Nachtblut 手机党少年们想听歌,请使劲儿戳(这里) @mr_chip :上海的初雪之后有点冷 ...

小小编辑
今天
335
7
Confluence 6 修改导航显示选项

选择 子页面(Child pages)来在边栏中查看当前页面的子页面。 选择 页面树(Page tree)来查看整个空间的页面树,扩展当前的页面。 你也可以选择是否完全隐藏导航显示选项或者添加你希望可见...

honeymose
今天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部