文档章节

(JAVA)抓取其它服务器返回的数据

码
 
发布于 2016/01/30 13:47
字数 455
阅读 7
收藏 0

    废话没有,抓取post请求的数据

/**
   * post请求
   * 
   * @param urlStr
   *          请求地址
   * @return
   * @throws MalformedURLException
   * @throws IOException
   * @throws UnsupportedEncodingException
   */
  private String Capture(String urlStr) throws MalformedURLException, IOException, UnsupportedEncodingException {
    URL url = new URL(urlStr);
    /**
     * 首先要和URL下的URLConnection对话。 URLConnection可以很容易的从URL得到。比如: // Using
     * java.net.URL and //java.net.URLConnection
     */
    URLConnection connection = url.openConnection();
    /**
     * 然后把连接设为输出模式。URLConnection通常作为输入来使用,比如下载一个Web页。
     * 通过把URLConnection设为输出,你可以把数据向你个Web页传送。下面是如何做:
     */
    connection.setDoOutput(true);
    /**
     * 最后,为了得到OutputStream,简单起见,把它约束在Writer并且放入POST信息中,例如: ...
     */
    OutputStreamWriter out = new OutputStreamWriter(connection.getOutputStream(), "8859_1");
    out.write("username=kevin&password=*********"); // post的关键所在!
    // remember to clean up
    out.flush();
    out.close();
    /**
     * 这样就可以发送一个看起来象这样的POST: POST /jobsearch/jobsearch.cgi HTTP 1.0 ACCEPT:
     * text/plain Content-type: application/x-www-form-urlencoded
     * Content-length: 99 username=bob password=someword
     */
    // 一旦发送成功,用以下方法就可以得到服务器的回应:
    String sCurrentLine;
    String sTotalString;
    sCurrentLine = "";
    sTotalString = "";
    InputStream l_urlStream;
    l_urlStream = connection.getInputStream();
    // 传说中的三层包装阿! (需要把流先转码,防止中文乱码,如果是在读取的时候再转码也造成部分乱码)
    BufferedReader l_reader = new BufferedReader(new InputStreamReader(l_urlStream, "utf-8"));
    while ((sCurrentLine = l_reader.readLine()) != null) {
      sTotalString += sCurrentLine + "\r\n";
    }
    return sTotalString;
  }

第二种,抓取get请求的数据

private String getCapture(String urlStr) throws MalformedURLException, IOException, UnsupportedEncodingException {
    URL realUrl = new URL(urlStr);

    URLConnection connection = realUrl.openConnection();
    // 设置通用的请求属性
    connection.setRequestProperty("accept", "*/*");
    connection.setRequestProperty("connection", "Keep-Alive");
    connection.setRequestProperty("user-agent", "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)");
    // 建立实际的连接
    connection.connect();
    // 定义 BufferedReader输入流来读取URL的响应
    BufferedReader in = new BufferedReader(new InputStreamReader(connection.getInputStream(), "utf-8"));
    String line;
    String sTotalString = "";
    while ((line = in.readLine()) != null) {
      sTotalString += line + "\r\n";
    }
    return sTotalString;
  }

很简单,需要注意的就是几个地方的转码问题。

© 著作权归作者所有

共有 人打赏支持
码

粉丝 1
博文 15
码字总数 3386
作品 0
深圳
Commons DbUtils

1 概述 Commons DBUtils类库是小型的设计于易于使用JDBC的类集合。JDBC资源清理是平凡的,容易出错,以至于这些类从你的代码中抽象出清理代码,剩下你最初真正想要使用JDBC做的代码:查询和更...

Leech
2015/07/21
0
0
RMI:Java中的分布式计算框架

RMI全称是Remote Method Invocation-远程方法调用,Java RMI在JDK1.1中实现的,其威力就体现在它强大的开发分布式网络应用的能力上,是纯Java的网络分布式应用系统的核心解决方案之一。其实...

qq_39521554
05/15
0
0
hibernate xml配置文件参数详解

Hibernate 参数设置一览表 表 3.4. Hibernate JDBC和连接(connection)属性 表 3.5. Hibernate缓存属性 表 3.6. Hibernate事务属性 表 3.7. 其他属性 你应当总是为你的数据库将hibernate.dia...

laigous
2013/01/17
0
0
33款可用来抓数据的开源爬虫软件工具

要玩大数据,没有数据怎么玩?这里推荐一些33款开源爬虫软件给大家。 爬虫,即网络爬虫,是一种自动获取网页内容的程序。是搜索引擎的重要组成部分,因此搜索引擎优化很大程度上就是针对爬虫...

Airship
2015/11/09
0
1
Hibernate 参数设置一览表

属性名 用途 hibernate.dialect 一个HibernateDialect类名允许Hibernate针对特定的关系数据库生成优化的SQL. 取值 full.classname.of.Dialect hibernate.show_sql 输出所有SQL语句到控制台....

Zhao-Qian
2015/03/04
0
0

没有更多内容

加载失败,请刷新页面

加载更多

驰狼课堂

http://www.chilangedu.com/

求是科技
11分钟前
0
0
jumpserver 报错"Incorrect string value

申明 本文所有内容参考自jumpserver记录命令无法入库问题 #1773 简介 jumpserver 1.4.0在jumpserver.log中大量报错,错误日志 File "/opt/jumpserver/apps/terminal/api.py", line 246, i...

zhnxin
18分钟前
1
0
用户管理相关配置文件及命令

9月19日任务 2.27linux和windows互传文件 3.1 用户配置文件和密码配置文件 3.2 用户组管理 3.3 用户管理 扩展知识 实用小工具 简单命令行下实现Linux/Windows文件互传 前提:使用远程工具Xsh...

robertt15
36分钟前
0
0
presto 架构

presto 介绍 是Facebook开源的,完全基于内存的并⾏计算,分布式SQL交互式查询引擎 是一种Massively parallel processing (MPP)架构,多个节点管道式执⾏ ⽀持任意数据源(通过扩展式Connect...

张欢19933
36分钟前
0
0
Ajax技术应用

1. 相关概述 1. ajax:即异步js与xml,可以实现客户端与服务端之间数据的异步交互。对于普通的B/S 模式是采用的同步方式,即一次请求必须等待一次服务器响应完成,而异步则是客户端发送请求后...

江左煤郎
36分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部