文档章节

URL读取网页-简单就好

M
 Miracle_lucy
发布于 2014/06/10 08:34
字数 177
阅读 18
收藏 0
点赞 0
评论 0
内容提示: 呢。交给Apache吧。 Apahce:commons-io-2.4.jar 只要一句:IOUtils.toString(new URL(url));,简单方便。 public static void main(String[] args) throws MalformedURLException, IOException { String url = "http://www.baidu.com"; //配制代理 Properties prop = System.getProperties(); prop.put("http.proxyHost", "172...


有的时候可能需要用URL访问一个Http网页,但是又不想写一大堆代码,怎么办呢。交给Apache吧。 

Apahce:commons-io-2.4.jar 

只要一句:IOUtils.toString(new URL(url));,简单方便。 

1
2
3
4
5
6
7
8
9
10
11
12
publicstaticvoidmain(String[] args)throwsMalformedURLException, IOException {
        String url =" http://www.baidu.com";
 
               //配制代理
        Properties prop = System.getProperties();
        prop.put("http.proxyHost","172.16.1.35");
        prop.put("http.proxyPort","80");
 
 
        String html=IOUtils.toString(newURL(url));
        System.out.println(html);
    }

原标题:URL读取网页-简单就好

本文地址:http://www.rrzhai.com/p/25500(转载请注明出处)

本文转载自:http://www.rrzhai.com/p/25500

共有 人打赏支持
M
粉丝 0
博文 5
码字总数 0
作品 0
桂林
Python爬虫入门?看完之后怕是要直接上路了

刚开始卖个关子,首先大概了解下所需要的一丢丢理论框架。 基本的爬虫工作原理 基本的http抓取工具,scrapy Bloom Filter: Bloom Filters by Example 如果需要大规模网页抓取,你需要学习分布...

诸葛玥 ⋅ 2017/12/28 ⋅ 0

Go语言的中文编码问题

昨天用Go语言写一个网页信息抓取程序,功能是抓取指定的URL,读取并分析网页里面的某段内容。程序里面有一句index:=strings.Index(line,"单位净值"),运行结果发现index=-1。数据明明存在,但...

qinhui99 ⋅ 2012/08/22 ⋅ 17

Python网页静态爬虫

本文基于慕课网的视频教程,抓取百度百科中1000条词条页面信息。 编程环境:Python3.5 抓取网页信息包括以下几个部分:url管理器,下载器,解析器,输出器: (1) 读取要爬取的网页URL,可命...

Flying_sfeng ⋅ 2017/03/13 ⋅ 0

JAVA Websocket实现扫码二维码登录---GoEasy

最近在做一个扫码登录功能,为此我还在网上搜了一下关于微信的扫描登录的实现方式。当这个功能完成了后,我决定将整个实现思路整理出来,方便自己以后查看也方便其他有类似需求的程序猿些。 ...

miaomiaogong1 ⋅ 2016/12/05 ⋅ 0

客户端扫码登录功能的实现思路

最近在做一个扫码登录功能,为此我还在网上搜了一下关于微信的扫描登录的实现方式。当这个功能完成了后,我决定将整个实现思路整理出来,方便自己以后查看也方便其他有类似需求的程序猿些。 ...

Xiqincai ⋅ 2016/10/14 ⋅ 0

C# websocket 实现扫码二维码登录----GoEasy

要实现扫码登陆我们需要解决两个问题: 在没有输入用户名及密码的情况下,如何解决权限安全问题?换句话讲,如何让服务器知道扫码二维码的客户端是一个合法的用户? 2. 服务器根据用户在客户端...

miaomiaogong1 ⋅ 2016/11/30 ⋅ 0

Matlab制作视频并转换成gif动态图的两种方法

一、第一个方法比较简单,就是使用movie(f)直接取生成AVI视频文件。 %% f(t)-->f(4*t+12) 并且验证%%function Signal_change()tic%记录程序运行时间figuren = 0;t = -2pi:0.01:2pi;y = sin...

themingyi ⋅ 2017/03/08 ⋅ 0

【转】爬虫入门一

基本的爬虫工作原理 基本的http抓取工具,scrapy Bloom Filter: 大规模数据处理利器(爬虫判重) 如果需要大规模网页抓取,你需要学习分布式爬虫的概念。其实没那么玄乎,你只要学会怎样维护一...

曾劲松 ⋅ 2016/11/01 ⋅ 0

URL中的字符含义简单解析

URL中“#” “?” &“”号的作用 阅读目录 1. # 2. ? 3. & 1. # 10年9月,twitter改版。一个显著变化,就是URL加入了"#!"符号。比如,改版前的用户主页网址为http://twitter.com/username...

follitude ⋅ 2015/12/04 ⋅ 0

Unity3D Web 从服务器下载图片 读取视频文本

转载自风宇冲Unity3D教程学院 往wamp路径下的www文件夹下拖入一张图片,这里使用的是cat.jpg, 输入http://localhost/cat.jpg,可以查看到图片如下后, 新建unity工程,创建一个球体,创建一个...

qq_40795166 ⋅ 04/13 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

来自一个优秀Java工程师的简历

写在前面: 鉴于前几天的一份前端简历,虽然带着很多不看好的声音,但却帮助了很多正在求职路上的人,不管评论怎么说,我还是决定要贴出一份后端的简历。 XXX ID:357912485 目前正在找工作 ...

颖伙虫 ⋅ 20分钟前 ⋅ 0

Confluence 6 恢复一个站点有关使用站点导出为备份的说明

推荐使用生产备份策略。我们推荐你针对你的生产环境中使用的 Confluence 参考 Production Backup Strategy 页面中的内容进行备份和恢复(这个需要你备份你的数据库和 home 目录)。XML 导出备...

honeymose ⋅ 今天 ⋅ 0

JavaScript零基础入门——(九)JavaScript的函数

JavaScript零基础入门——(九)JavaScript的函数 欢迎回到我们的JavaScript零基础入门,上一节课我们了解了有关JS中数组的相关知识点,不知道大家有没有自己去敲一敲,消化一下?这一节课,...

JandenMa ⋅ 今天 ⋅ 0

火狐浏览器各版本下载及插件httprequest

各版本下载地址:http://ftp.mozilla.org/pub/mozilla.org//firefox/releases/ httprequest插件截至57版本可用

xiaoge2016 ⋅ 今天 ⋅ 0

Docker系列教程28-实战:使用Docker Compose运行ELK

原文:http://www.itmuch.com/docker/28-docker-compose-in-action-elk/,转载请说明出处。 ElasticSearch【存储】 Logtash【日志聚合器】 Kibana【界面】 答案: version: '2'services: ...

周立_ITMuch ⋅ 今天 ⋅ 0

使用快嘉sdkg极速搭建接口模拟系统

在具体项目研发过程中,一旦前后端双方约定好接口,前端和app同事就会希望后台同事可以尽快提供可供对接的接口方便调试,而对后台同事来说定好接口还仅是个开始、设计流程,实现业务逻辑,编...

fastjrun ⋅ 今天 ⋅ 0

PXE/KickStart 无人值守安装

导言 作为中小公司的运维,经常会遇到一些机械式的重复工作,例如:有时公司同时上线几十甚至上百台服务器,而且需要我们在短时间内完成系统安装。 常规的办法有什么? 光盘安装系统 ===> 一...

kangvcar ⋅ 昨天 ⋅ 0

使用Puppeteer撸一个爬虫

Puppeteer是什么 puppeteer是谷歌chrome团队官方开发的一个无界面(Headless)chrome工具。Chrome Headless将成为web应用自动化测试的行业标杆。所以我们很有必要来了解一下它。所谓的无头浏...

小草先森 ⋅ 昨天 ⋅ 0

Java Done Right

* 表示难度较大或理论性较强。 ** 表示难度更大或理论性更强。 【Java语言本身】 基础语法,面向对象,顺序编程,并发编程,网络编程,泛型,注解,lambda(Java8),module(Java9),var(...

风华神使 ⋅ 昨天 ⋅ 0

Linux系统日志

linux 系统日志 /var/log/messages /etc/logrotate.conf 日志切割配置文件 https://my.oschina.net/u/2000675/blog/908189 logrotate 使用详解 dmesg 命令 /var/log/dmesg 日志 last命令,调......

Linux学习笔记 ⋅ 昨天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部