文档章节

【java基础】Jsoup连接URL

卯金刀GG
 卯金刀GG
发布于 2018/02/07 09:13
字数 128
阅读 13
收藏 0

1、代码 

import java.io.IOException;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class Common {

	public static Document getDoc(String url,String cookie,String host,String refefer) throws IOException{
		Document doc = null;
		String doc01 = null;
		doc = Jsoup
				.connect(url)
				.header("Host", host)
				.header("User-Agent",
						" Mozilla/5.0 (Windows NT 6.1; WOW64; rv:58.0) Gecko/20100101 Firefox/58.0")
				.header("Accept", "text/html,application/xhtml+xm…plication/xml;q=0.9,*/*;q=0.8")
				.header("Accept-Encoding", "gzip, deflate, br")
				.header("Accept-Language", "zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2")
				.header("Cache-Control", "max-age=0")
				.header("Connection", "keep-alive")
				.header("Cookie", cookie)

				.header("Referer", refefer)
				.header("Upgrade-Insecure-Requests", "1")
				.header("Cache-Control", "max-age=0")
				.timeout(30000)//设置超时30s
				.ignoreContentType(true).get();
		return doc;
	}
	
}

 

© 著作权归作者所有

卯金刀GG
粉丝 26
博文 265
码字总数 72868
作品 0
昌平
程序员
私信 提问
刨根问底--技术--jsoup简单抓取数据

使用jsoup抓取信息步骤 1、加入jsoup-1.6.2.jar 2、准备好url 3、建立连接--Jsoup.connect(url) 4、解析html--Connection.get() package com.xing.jsoup; import java.io.IOException; impo......

cookqq
2013/01/18
444
0
jsoup 1.4.1 发布,超棒的HTML解析器

该版本包含一些新的功能,例如从输入流中解析HTML、DOM克隆、:not() 伪CSS的选择器;同时也修复了一些bug,提升了稳定性;改进了HTTP的连接处理和更强的文档规范化(本站已经更新到 jsoup 1....

红薯
2010/11/24
1K
7
JSOUP教程,JSOUP 乱码处理,JSOUP生僻字乱码解决方案

JSOUP乱码情况产生 这几天我用 JSOUP 多线程的方式,爬取了200 多万数据,数据为各地的地名相关。结果有小部分数据,不到 1 万乱码。我先检查了我的编码为UTF-8 ,觉得应该没有问题。代码基本...

太阳代理
2017/11/08
169
0
jsoup 1.3.1 发布,性能的改善和内存优化

jsoup 是一款 Java 的HTML 解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于JQuery的操作方法来取出和操作数据。 该版本在 HTTP 连接接口...

红薯
2010/08/23
1K
3
关于模拟http请求的三种方法

一、模拟请求代码 (1) import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import java.io.PrintWriter; import java.net.URL; import java.......

任璐
2016/01/22
68
1

没有更多内容

加载失败,请刷新页面

加载更多

作为一个(IT)程序员!聊天没有话题?试试这十二种技巧

首先呢?我是一名程序员,经常性和同事没话题。 因为每天都会有自己的任务要做,程序员对于其他行业来说;是相对来说比较忙的。你会经常看到程序员在发呆、调试密密麻麻代码、红色报错发呆;...

小英子wep
今天
12
0
【SpringBoot】产生背景及简介

一、SpringBoot介绍 Spring Boot 是由 Pivotal 团队提供的全新框架,其设计目的是用来简化新 Spring 应用的初始搭建以及开发过程,该框架使用了特定的方式来进行配置,从而使开发人员不再需要...

zw965
今天
4
0
简述并发编程分为三个核心问题:分工、同步、互斥。

总的来说,并发编程可以总结为三个核心问题:分工、同步、互斥。 所谓分工指的是如何高效地拆解任务并分配给线程,而同步指的是线程之间如何协作,互斥则是保证同一时刻只允许一个线程访问共...

dust8080
今天
6
0
OSChina 周四乱弹 —— 当你简历注水但还是找到了工作

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @花间小酌 :#今日歌曲推荐# 分享成龙的单曲《男儿当自强》。 《男儿当自强》- 成龙 手机党少年们想听歌,请使劲儿戳(这里) @hxg2016 :刚在...

小小编辑
今天
3.2K
22
靠写代码赚钱的一些门路

作者 @mezod 译者 @josephchang10 如今,通过自己的代码去赚钱变得越来越简单,不过对很多人来说依然还是很难,因为他们不知道有哪些门路。 今天给大家分享一个精彩的 GitHub 库,这个库整理...

高级农民工
昨天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部