文档章节

爬虫--[HttpClient]

Candy_Desire
 Candy_Desire
发布于 2014/11/06 10:59
字数 833
阅读 717
收藏 11

爬虫技术可以获取互联网上开放的网页文档或其他文档,在java中HttpClient是比较好用的模拟请求和爬虫组件

下面看一个简单的职位爬去的实例:

1 下载HttpClient

   最新HttpClient版本是4.x,我们可以去官网下载,本章所用版本为:commons-httpclient-3.0.1.jar

   这是它的核心包,但是要编写一个完整的爬虫应用,它还需要依赖如下:

2 使用HttpClient进行模拟请求

   2.1 创建HttpClient对象:

         HttpClient httpClient=new HttpClient();

   2.2 通过get或post方式请求页面:

         GetMethod getMethod=new GetMethod("http://www.51job.com");

         假如是post请求,那么就得使用:

         PostMethod postMethod=new PostMethod("http://www.51job.com");

   2.3 执行请求:

         httpClient.executeMethod(getMethod);

   2.4 得到返回的网页:

        String html=  getMethod.getResponseBodyAsString();

        假如网页非常大时,需要使用:

        getMethod.getResponseBodyAsStream();

        它返回一个InputStream,需要我们使用流读取出来

    2.5 释放请求连接:

         getMethod.releaseConnection();

3.参数,Header头部信息,cookie

  3.1  对于post请求(比如模拟登录),有时候需要传入请求参数,需要先构造一个参数数组:

        NameValuePair[] vnps=new NameValuePair[X];

        NameValuePair nvp=new NameValuePair("username","admin");

        NameValuePair nvp=new NameValuePair("password","admin");

        postMethod.setRequestBody(vnps);

   3.2 Header头部信息

        有些服务器会根据头部信息来做一些业务逻辑,假如我们在模拟请求时没有传入这些头部信息,可能

        不会达到我们想要的效果。

        这些头部信息不是随便写的,而是根据某种http分析工具得出的(比如httpwatch)

         getMethod.setRequestHeader("Accept-Language","zh-CN,en-US;q=0.7,ja;q=0.3");

         getMethod.setRequestHeader("Accept","application/javascript, */*;q=0.8");

         getMethod.setRequestHeader("Referer","http://www.baidu.com/");

         。。。

    3.3  Cookie

          有时候模拟请求也需要带入cookie信息(特别是需要使用session的时候),cookie本身也是一种头部:

           method.setRequestHeader("Cookie", " H_PS_PSSID=2994_2776_1428_2975_2977_2250_2542_2701");

           这个cookie也不是随便写的,是通过httpwatch分析出来的

            有时候对于登录之后的网页抓取,我们往往需要把之前请求时产生的cookie也一直保存,此时可以先得到之前请求后产生的cookie:

             Cookie[] cookies = httpClient.getState().getCookies();

             String tmpcookies="";

             for (Cookie c : cookies) {

tmpcookies += c.toString() + ";";

              }

          然后传入这些cookie:

          method.setRequestHeader("Cookie", tmpcookies);

   核心代码如下:

import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.methods.GetMethod;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.nodes.TextNode;
import org.jsoup.select.Elements;


public class JobCrawl {

public static void main(String[] args)throws Exception {
//创建一个Http请求的客户端 
HttpClient httpClient=new HttpClient();
   //创建一个Get方法的请求
GetMethod getMethod=new GetMethod("http://search.51job.com/list/%2B,%2B,%2B,%2B,%2B,%2B,java,2,%2B.html?lang=c&stype=1&image_x=30&image_y=18");
//执行请求
httpClient.executeMethod(getMethod);
//返回网页信息
String html=getMethod.getResponseBodyAsString();
   //转码
html=new String(html.getBytes("iso8859-1"),"gb2312");
Document doc=Jsoup.parse(html);
Elements elements=doc.select("a.jobname");
   for(int i=0;i<elements.size();i++){
    Element ele=elements.get(i);
    String url=ele.attr("href");
    GetMethod gm=new GetMethod(url);
    httpClient.executeMethod(gm);
    String detailJob=gm.getResponseBodyAsString();
    detailJob=new String(detailJob.getBytes("iso8859-1"),"gb2312");
    Utils.createFile("D:\\Workspaces\\HttpClientTest\\doc",i+".html", detailJob);
    Document job_doc=Jsoup.parse(detailJob);
    //职位名称
    String jobname=job_doc.select("td.sr_bt").get(0).text();
   
    //公司名称
    Element company_a=job_doc.select("table.jobs_1 a").get(0);
    String companyname=company_a.text();
   
    //职位职能
    Element target=job_doc.select("strong:contains(职位职能)").get(0);
    System.out.println(target.nextSibling());
    TextNode targetNode=(TextNode)target.nextSibling();
    String targetName=targetNode.text();
    System.out.println("职位名称: "+jobname);
    System.out.println("公司名称: "+companyname);
    System.out.println("职位职能: "+targetName);
    System.out.println("=====================================");
    //System.out.println(ele.text()+" "+ele.attr("href"));
   }
}

}
import java.io.File;
import java.io.FileOutputStream;
import java.io.FileWriter;

public class Utils {

	public static void createFile(String directorpath, String fileName,
			String html) throws Exception {
		File director = new File(directorpath);
		if (!director.exists()) {
			director.mkdirs();
		}
		File f = new File(director.getAbsoluteFile() + File.separator
				+ fileName);
		System.out.println(fileName);
		if (!f.exists()) {
			f.createNewFile();
		}
		FileOutputStream fos = new FileOutputStream(f);
		FileWriter fw = new FileWriter(f);
		fw.write(new String(html));
		fw.close();
		fw = null;
		fos.close();
	}
}


© 著作权归作者所有

共有 人打赏支持
Candy_Desire
粉丝 31
博文 71
码字总数 84592
作品 0
浦东
产品经理
apache HttpClient学习系列--1

这两天开始准备做一个自己的网络爬虫,所以就各种找资料,找到了一个资料,讲的挺好的,用的就是HttpClient来写的,就在apache上下了jar包,准备自己编写,但是硬是找不到对应的类。上了apa...

无情小白龙
2014/03/15
0
0
HttpClient 4.3超时设置

最近用到了HttpClient写爬虫,可能我有新版本强迫症,老是喜欢用新版本的东西(虽说新版本不一定好用),然后就用了HttpClient 4.3。HttpClient这货和Lucene一样,每个版本的API都变化很大,这有...

Docee
2013/11/03
0
8
HttpClient的CircularRedirectException异常原因及解决办法

HttpClient的CircularRedirectException异常原因及解决办法 这两天在使用我自己爬虫抓取网页的时候总是出现 org.apache.http.client.ClientProtocolException at org.apache.http.impl.clien...

我是小强
2013/12/26
0
0
Android:HttpClient研究

HttpClient4 用法 由HttpClient3 升级到 HttpClient_4 必看 摘要:HttpClient程序包是一个实现了 HTTP 协议的客户端编程工具包,要想熟练的掌握它,必须熟悉HTTP协议。一个最简单的调用如下:...

boonya
2015/03/27
0
2
Android 浅谈HttpClient工具类

在Android开发中我们经常会用到网络连接功能与服务器进行数据的交互,为此Android的SDK提供了Apache的HttpClient来方便我们使用各种Http服务。你可以把HttpClient想象成一个浏览器,通过它的...

Jonson
2013/07/25
0
3

没有更多内容

加载失败,请刷新页面

加载更多

下一页

180.mariadb 主从复制

参考:https://blog.csdn.net/chengxuzaza/article/details/62042920 睡觉睡觉,明天写 1.效果 当主库中数据有变化的时候,从库就自动同步 2. 环境要求 至少两台 linux服务器 (教程:https...

Lucky_Me
2分钟前
0
0
erlng file id3v1 id3v1.1

%% ---%% Excerpted from "Programming Erlang",%% published by The Pragmatic Bookshelf.%% Copyrights apply to this code. It may not be used to create training material, %% ......

xueyuse0012
3分钟前
0
0
RabbitMq的安装

环境Centos6.5 32位 JDK 1.7.8 Jdk的卸载 rpm -qa|grep jdk yum –y remove 上边的安装包 JDK的安装 Rpm –ivh jdk安装包 配置环境变量 export JAVA_BIN=/usr/java/jdk1.7.0_80/bin export J......

DemonsI
7分钟前
0
0
http和https协议

HTTPS全称为Hypertext Transfer Protocol over Secure Socket Layer,中文含义为“超文本传输协议在安全加密字层”,简单来说就是加密数据传输,通俗的说就是安全连接。 HTTPS安全超文本传输...

寰宇01
13分钟前
0
0
vue内引入语音播报功能

在vue项目中引入语音播报,使用的科大讯飞语音接入, 具体思路为每次接收到语音信息后存入一个数组,然后监听这个数组,开始冲第一个索引播放,并且同时根据vuex getter 来动态删减数量 给a...

originDu
21分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部