文档章节

Java 获得网页源代码和模拟浏览器请求

大道至精
 大道至精
发布于 2014/11/06 10:23
字数 227
阅读 1393
收藏 3

直接附上代码,copy直接运行

package com.sh.Browser;

import java.io.BufferedReader;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.OutputStreamWriter;
import java.io.PrintWriter;
import java.net.URL;
import java.net.URLConnection;
public class GetPageContent {
 /**
  * @param args
  */
 public static void main(String[] args) {
  try {
   //http://api.map.baidu.com/geocoder/v2/?ak=KQiPaEKtT6xAoRKMbMLvBZze&callback=renderReverse&location=31.249161,121.487899&output=json&pois=1&qq-pf-to=pcqq.c2c
    URL u1=new URL("http://api.map.baidu.com/location/ip?ak=E4805d16520de693a3fe707cdc962045&ip=202.198.16.3&coor=bd09ll");
   
    
    URL url = new URL("http://api.map.baidu.com/location/ip?ak=E4805d16520de693a3fe707cdc962045&ip=183.56.167.29&coor=bd09ll");
    
    URLConnection conn = url.openConnection();
    conn.setDoOutput(true);
    InputStream in = null;
    in = url.openStream();
    String content = pipe(in,"utf-8");
    
    System.out.println(content);
    
    
  } catch (Exception e) {
   e.printStackTrace();
  }
 }
 static String pipe(InputStream in,String charset) throws IOException {
        StringBuffer s = new StringBuffer();
        if(charset==null||"".equals(charset)){
         charset="utf-8";
        }
        String rLine = null;
        BufferedReader bReader = new BufferedReader(new InputStreamReader(in,charset));
        PrintWriter pw = null;
        
  FileOutputStream fo = new FileOutputStream("../index.html");
  OutputStreamWriter writer = new OutputStreamWriter(fo, "utf-8");
  pw = new PrintWriter(writer);
        while ( (rLine = bReader.readLine()) != null) {
            String tmp_rLine = rLine;
            int str_len = tmp_rLine.length();
            if (str_len > 0) {
              s.append(tmp_rLine);
              pw.println(tmp_rLine);
              pw.flush();
            }
            tmp_rLine = null;
       }
        in.close();
        pw.close();
        return s.toString();
 }
}

© 著作权归作者所有

共有 人打赏支持
大道至精
粉丝 49
博文 53
码字总数 58567
作品 0
黄浦
程序员
私信 提问
关于 WEB/HTTP 调试利器 Fiddler 的一些技巧分享

1、原理简介: Fiddler 是目前最强大最好用的 Web 调试工具之一,它能记录所有客户端和服务器的http和https请求,允许你监视,设置 CGI 请求的断点,甚至修改输入输出数据。同类的工具还有h...

大数据之路
2013/08/08
0
0
OAuth的验证码怎么通过后台程序获得

我现在使用Scrible-Java来访问GitHub的OAuth API 在调用了Authorization的URL后,它会把一个授权码(code=xxxxx)返回到callback_url中, 形式是 http://www.xxx.com?code=xxxxx 但是现在这个授...

杨延庆
2012/05/14
1K
2
Jsoup模拟登录带验证码的教务系统(原理详解)

一:原理 客户端访问服务器,服务器通过Session对象记录会话,服务器可以指定一个唯一的session ID作为cookie来代表每个客户端,用来识别这个客户端接下来的请求。 我们通过Chrome浏览器进行...

巅峰小学生
02/09
0
0
java模拟HTTP请求登陆

看到帖子的各位你们好,江湖救急,我是大四学生一枚,不是热爱技术,但现在毕设要求用java写个小程序,就是类似关于用java模拟HTTP请求登陆某个论坛网站,用正则表达式匹配获取网页需要的信息...

mxm57
2014/05/14
572
0
使用nGrinder执行socket.io应用负载测试

原文 : Using nGrinder to perform load test for a socket.io app by Mavlarn nGrinder不仅可以用来测试通常的Web应用程序,也可以用于JDBC,Web服务或者像socket.io所提供的这样的实时应用...

nGrinderChina
2013/03/15
0
0

没有更多内容

加载失败,请刷新页面

加载更多

tomcat线程模型

Connector结构 BIO模式 NIO模式

grace_233
24分钟前
1
0
Javascript

变量定义 以$,_,字母开头 大小写敏感 var 关键字声明变量 声明未赋值undefined 数据类型 字符串,数字,布尔,数组,NULL,undefined 变量均为对象 函数 无默认值 var声明的是局部变量 函数外声明...

关元
25分钟前
1
0
文件系统、服务、防火墙、SELINUX——安全四大金刚

一提到安全,大家都会想到防火墙,和文件系统权限。而实际工作环境中,我们在Linux的安全配置,会涉及到四个级别。我们思考一个场景,你要在百度盘中存放一个文件,这个动作需要考虑下面四个...

Linux就该这么学
27分钟前
1
0
从源码角度理解Java设计模式——门面模式

一、门面模式介绍 门面模式定义:也叫外观模式,定义了一个访问子系统的接口,除了这个接口以外,不允许其他访问子系统的行为发生。 适用场景:子系统很复杂时,增加一个接口供外部访问。 优...

我叫刘半仙
36分钟前
2
0
新鲜出炉,2019最新大厂面试题总汇!

在这个互联网技术快速迭代的时代,每个程序员都知道技术对于职业发展的重要性,那些技术好的程序员不仅薪资高,而且大多数集中在一线互联网企业工作,让人感觉非常高大上的同时,也想去大厂做...

Java架构资源分享
45分钟前
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部