文档章节

爬虫--[HttpClient]

Candy_Desire
 Candy_Desire
发布于 2014/11/06 10:59
字数 833
阅读 722
收藏 11

爬虫技术可以获取互联网上开放的网页文档或其他文档,在java中HttpClient是比较好用的模拟请求和爬虫组件

下面看一个简单的职位爬去的实例:

1 下载HttpClient

   最新HttpClient版本是4.x,我们可以去官网下载,本章所用版本为:commons-httpclient-3.0.1.jar

   这是它的核心包,但是要编写一个完整的爬虫应用,它还需要依赖如下:

2 使用HttpClient进行模拟请求

   2.1 创建HttpClient对象:

         HttpClient httpClient=new HttpClient();

   2.2 通过get或post方式请求页面:

         GetMethod getMethod=new GetMethod("http://www.51job.com");

         假如是post请求,那么就得使用:

         PostMethod postMethod=new PostMethod("http://www.51job.com");

   2.3 执行请求:

         httpClient.executeMethod(getMethod);

   2.4 得到返回的网页:

        String html=  getMethod.getResponseBodyAsString();

        假如网页非常大时,需要使用:

        getMethod.getResponseBodyAsStream();

        它返回一个InputStream,需要我们使用流读取出来

    2.5 释放请求连接:

         getMethod.releaseConnection();

3.参数,Header头部信息,cookie

  3.1  对于post请求(比如模拟登录),有时候需要传入请求参数,需要先构造一个参数数组:

        NameValuePair[] vnps=new NameValuePair[X];

        NameValuePair nvp=new NameValuePair("username","admin");

        NameValuePair nvp=new NameValuePair("password","admin");

        postMethod.setRequestBody(vnps);

   3.2 Header头部信息

        有些服务器会根据头部信息来做一些业务逻辑,假如我们在模拟请求时没有传入这些头部信息,可能

        不会达到我们想要的效果。

        这些头部信息不是随便写的,而是根据某种http分析工具得出的(比如httpwatch)

         getMethod.setRequestHeader("Accept-Language","zh-CN,en-US;q=0.7,ja;q=0.3");

         getMethod.setRequestHeader("Accept","application/javascript, */*;q=0.8");

         getMethod.setRequestHeader("Referer","http://www.baidu.com/");

         。。。

    3.3  Cookie

          有时候模拟请求也需要带入cookie信息(特别是需要使用session的时候),cookie本身也是一种头部:

           method.setRequestHeader("Cookie", " H_PS_PSSID=2994_2776_1428_2975_2977_2250_2542_2701");

           这个cookie也不是随便写的,是通过httpwatch分析出来的

            有时候对于登录之后的网页抓取,我们往往需要把之前请求时产生的cookie也一直保存,此时可以先得到之前请求后产生的cookie:

             Cookie[] cookies = httpClient.getState().getCookies();

             String tmpcookies="";

             for (Cookie c : cookies) {

tmpcookies += c.toString() + ";";

              }

          然后传入这些cookie:

          method.setRequestHeader("Cookie", tmpcookies);

   核心代码如下:

import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.methods.GetMethod;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.nodes.TextNode;
import org.jsoup.select.Elements;


public class JobCrawl {

public static void main(String[] args)throws Exception {
//创建一个Http请求的客户端 
HttpClient httpClient=new HttpClient();
   //创建一个Get方法的请求
GetMethod getMethod=new GetMethod("http://search.51job.com/list/%2B,%2B,%2B,%2B,%2B,%2B,java,2,%2B.html?lang=c&stype=1&image_x=30&image_y=18");
//执行请求
httpClient.executeMethod(getMethod);
//返回网页信息
String html=getMethod.getResponseBodyAsString();
   //转码
html=new String(html.getBytes("iso8859-1"),"gb2312");
Document doc=Jsoup.parse(html);
Elements elements=doc.select("a.jobname");
   for(int i=0;i<elements.size();i++){
    Element ele=elements.get(i);
    String url=ele.attr("href");
    GetMethod gm=new GetMethod(url);
    httpClient.executeMethod(gm);
    String detailJob=gm.getResponseBodyAsString();
    detailJob=new String(detailJob.getBytes("iso8859-1"),"gb2312");
    Utils.createFile("D:\\Workspaces\\HttpClientTest\\doc",i+".html", detailJob);
    Document job_doc=Jsoup.parse(detailJob);
    //职位名称
    String jobname=job_doc.select("td.sr_bt").get(0).text();
   
    //公司名称
    Element company_a=job_doc.select("table.jobs_1 a").get(0);
    String companyname=company_a.text();
   
    //职位职能
    Element target=job_doc.select("strong:contains(职位职能)").get(0);
    System.out.println(target.nextSibling());
    TextNode targetNode=(TextNode)target.nextSibling();
    String targetName=targetNode.text();
    System.out.println("职位名称: "+jobname);
    System.out.println("公司名称: "+companyname);
    System.out.println("职位职能: "+targetName);
    System.out.println("=====================================");
    //System.out.println(ele.text()+" "+ele.attr("href"));
   }
}

}
import java.io.File;
import java.io.FileOutputStream;
import java.io.FileWriter;

public class Utils {

	public static void createFile(String directorpath, String fileName,
			String html) throws Exception {
		File director = new File(directorpath);
		if (!director.exists()) {
			director.mkdirs();
		}
		File f = new File(director.getAbsoluteFile() + File.separator
				+ fileName);
		System.out.println(fileName);
		if (!f.exists()) {
			f.createNewFile();
		}
		FileOutputStream fos = new FileOutputStream(f);
		FileWriter fw = new FileWriter(f);
		fw.write(new String(html));
		fw.close();
		fw = null;
		fos.close();
	}
}


© 著作权归作者所有

共有 人打赏支持
Candy_Desire
粉丝 31
博文 71
码字总数 84592
作品 0
浦东
产品经理
apache HttpClient学习系列--1

这两天开始准备做一个自己的网络爬虫,所以就各种找资料,找到了一个资料,讲的挺好的,用的就是HttpClient来写的,就在apache上下了jar包,准备自己编写,但是硬是找不到对应的类。上了apa...

无情小白龙
2014/03/15
0
0
HttpClient 4.3超时设置

最近用到了HttpClient写爬虫,可能我有新版本强迫症,老是喜欢用新版本的东西(虽说新版本不一定好用),然后就用了HttpClient 4.3。HttpClient这货和Lucene一样,每个版本的API都变化很大,这有...

Docee
2013/11/03
0
8
HttpClient的CircularRedirectException异常原因及解决办法

HttpClient的CircularRedirectException异常原因及解决办法 这两天在使用我自己爬虫抓取网页的时候总是出现 org.apache.http.client.ClientProtocolException at org.apache.http.impl.clien...

我是小强
2013/12/26
0
0
Android:HttpClient研究

HttpClient4 用法 由HttpClient3 升级到 HttpClient_4 必看 摘要:HttpClient程序包是一个实现了 HTTP 协议的客户端编程工具包,要想熟练的掌握它,必须熟悉HTTP协议。一个最简单的调用如下:...

boonya
2015/03/27
0
2
Android 浅谈HttpClient工具类

在Android开发中我们经常会用到网络连接功能与服务器进行数据的交互,为此Android的SDK提供了Apache的HttpClient来方便我们使用各种Http服务。你可以把HttpClient想象成一个浏览器,通过它的...

Jonson
2013/07/25
0
3

没有更多内容

加载失败,请刷新页面

加载更多

Android适配相关

Android 6.0、7.0、8.0、9.0适配 关于android适配的好文章 Android权限申请库 AndPermission 国产,有中文文档,链式调用,用起来简单 easypermissions 谷歌官方出品 PermissionsDispatcher ...

Skqing
15分钟前
1
0
Google推出了以隐私和安全为中心的变更

作为Google Play开发者政策更新的一部分,Google推出了以隐私和安全为中心的变更。 在旨在保护敏感数据的行动中,有针对请求短信和呼叫记录权限的应用程序的新规则。 即日起,只有配置为默认...

问题终结者
17分钟前
0
0
Kotlin个人理解入门篇

了解kotlin并开始使用其做开发,是从最近之前做的项目开始之初,用的是kotlin,发现kotlin是一个特简洁,很多语法糖提供使用,可以提高开发效率的语言。谷歌在2017年谷歌大会正式宣布支持and...

DannyCoder
23分钟前
0
0
springboot+rabbitmq整合

1.安装好rabbitmq 2.新建一个springBoot项目:rabbitmq_demo 3.添加pom依赖: <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifact......

狼王黄师傅
30分钟前
0
0
使用JDK自带的jmap和jhat监控处于运行状态的Java进程

对于处于运行状态中的Java进程,JDK自带了很多工具,允许Java开发人员监控运行进程中的各种状态,比如该进程内部创建了多少个对象实例,消耗了多少内存,等等。 本文基于JDK1.8而写成。 我下...

JerryWang_SAP
40分钟前
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部