文档章节

java学习-get和post请求

o
 osc_7zkrlaio
发布于 2018/08/01 20:34
字数 2065
阅读 11
收藏 0

「深度学习福利」大神带你进阶工程师,立即查看>>>

摘要
  看完本文可以知道,使用java原生编写get/post请求的步骤,进行网络请求时应该注意的地方。
  这里使用java自带的HttpUrlConnection对象进行网络请求,
  请求步骤大致分为五步
  1、创建URL对象
  2、打开URL连接
  3、设置通用属性
  4、建立实际的连接
  5、读取返回的内容
 
正文
 
http网络请求中比较常用的请求方式有get和post请求,其它的如head, put, 以及自定义的OPTIONS等请求方式在这里不做讨论
 
java中使用的请求对象一般是HttpUrlConnection,
其它框架封装的如httpClient,这个apache CommonsHttpClient项目已经不再被维护,随着java版本的更新,这个工具不推荐再使用了,
而其他了,如okhttp,Retrofit2等网络请求框架主要使用于android端的网络请求,
在服务器端进行网络请求使用自己简单封装的http工具类即可。
 
我们请求的地址需要使用URL对象将字符串地址进行封装
即URL connURL = new URL("http://www.xxxx./")
网络请求的步骤
#GET请求
 
    首先要对请求的参数进行中文编码
     java.net.URLEncoder.encode(parameters.get(name),
                                    "UTF-8")
    否则服务器接收到的中文数据会变成乱码,这是人为的错误。
    将编码的参数和url进行拼接形成真正的请求地址
String url = url + "?" + params
    1、创建URL对象
URL connURL = new URL("http://www.xxxx./")

 

    2、打开url链接获得HttpUrlConnection
HttpURLConnection httpConn = (HttpURLConnection) connURL.openConnection();

     3、设置通用的属性,  ----请求头部信息
       也就是模仿浏览器的请求头部的信息
         Connection、Accept、User-Agent、Cookie 等其它的请求头header信息
httpConn.setRequestProperty("Accept", "*/*");
  Connection:表示是否需要持久链接值为“Keep-Alive   ,持久链接可以减少下载的时间,但服务器必须要返回响应头Content-Length,返回内容的长度。
        http的socket,要经过三次握手通信才能确保连接可用,
 
http连接的两种方式:串行连接,持久连接
持久连接的实现方式有两种:HTTP/1.0+的请求头Connection:keep-alive与HTTP/1.1的持久连接
 
串行连接:1、打开连接
          2、请求
          3、处理
          4、响应
          5、关闭连接
          重复上面步骤

持久连接:1、打开连接
          2、请求
          3、处理
          4、响应
          第二次直接到2操作,
          发送请求
持久连接第一次请求后不会关闭连接,下次再发送请求时就不需要再建立连接了

 参考资料

Http持久连接与HttpClient连接池

     
其实就是减少了http请求时四次握手(关闭连接1次握手)的时间,
      HTTP 1.1默认进行持久连接
        
    4、 建立连接
        
httpConn.connect();
    5、 获取响应头部的信息 ,这个步骤可以省略
httpConn.getHeaderField("keyName");
  这里主要是获取到cookie的信息,以便下次访问时不再需要登录,直接通过cookie获取数据
  (当然,随着各大网站的特意防御,只获取到cookie,下次携带cookie可能会被拦截,即不能抓取到想要的数据)
    
如果要对response的响应头部的所有信息进行遍历,则代码如下
// 响应头部获取
            Map<String, List<String>> headers = httpConn.getHeaderFields();
           
            // 遍历所有的响应头字段
            for (String key : headers.keySet()) {
              
                  System.out.println(key+":  "+httpConn.getHeaderField(key));
            }

这是模拟访问www.baidu.com返回的response头部信息

 

 
6、读取响应的内容,网页html文件,或者特定的返回值数据
// 定义BufferedReader输入流来读取URL的响应,并设置编码方式
    BufferedReader in= null;

            in = new BufferedReader(new InputStreamReader(httpConn
                    .getInputStream(), "UTF-8"));//通用编码格式为utf-8
            String line;
            // 读取返回的内容
            while ((line = in.readLine()) != null) {
                result += line;
            }
            httpConn.disconnect();//主动断开httpConn连接
还有需要关闭,字符输入流BufferedReader
这个需要在finally块中进行关闭
finally{
    try {
         if (in != null) {
            in.close();
         }
     } catch (IOException ex) {
           ex.printStackTrace();
      }
}

 

上面是一个get请求的正常流程,当然其中的读取内容的方式有很多种,有些可以直接保存在电脑的文件中,这些方式先不考虑

 

一个get请求需要注意的几点:

  • 请求参数,中文,其它的转义符号需要进行编码
如下代码,中文和特殊意义字符都会被进行编码,而英语字母则不需要编码
     String url = "http://www.baidu.com";
        String ss="你是逗逼吗";
        try {
            System.out.println(java.net.URLEncoder.encode(url,"UTF-8"));
            System.out.println(java.net.URLEncoder.encode(ss,"UTF-8"));
        } catch (UnsupportedEncodingException e) {
            e.printStackTrace();
        }

输出结果:

  

 

  • get请求头部最好设置个代理,否则有可能被网站给拦截,拒接访问

,如这里设置为火狐浏览器,模拟浏览器的请求头即可

httpConn.setRequestProperty("User-Agent",
                    "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1)");
  • 连接断开时候记得一定要把输入输出流给关掉,降低异常出现

  如上面的HttpUrlConnection连接,还有bufferReader对象

一个完整的get请求代码

public static String sendGet(String url, LinkedHashMap<String, String> parameters) {
        String result = "";// 返回的结果
        BufferedReader in = null;// 读取响应输入流
        StringBuffer sb = new StringBuffer();// 存储参数
        String params = "";// 编码之后的参数
        try {
            // 编码请求参数
            if (parameters.size() == 1) {
                for (String name : parameters.keySet()) {
                    sb.append(name).append("=").append(
                            java.net.URLEncoder.encode(parameters.get(name),
                                    "UTF-8"));
                }
                params = sb.toString();
            } else {
                for (String name : parameters.keySet()) {
                    sb.append(name).append("=").append(
                            java.net.URLEncoder.encode(parameters.get(name),
                                    "UTF-8")).append("&");
                }
                String temp_params = sb.toString();
                params = temp_params.substring(0, temp_params.length() - 1);
            }
            String full_url = url + "?" + params;
            // 创建URL对象
            URL connURL = new URL(full_url);
            // 打开URL连接
            HttpURLConnection httpConn = (HttpURLConnection) connURL
                    .openConnection();
            // 设置通用属性
            httpConn.setRequestProperty("Accept", "*/*");
            httpConn.setRequestProperty("Connection", "Keep-Alive");
            httpConn.setRequestProperty("User-Agent",
                    "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1)");
            // 建立实际的连接
            httpConn.connect();
            // 响应头部获取
            Map<String, List<String>> headers = httpConn.getHeaderFields();
            
            // 遍历所有的响应头字段
            for (String key : headers.keySet()) {
                //System.out.println(key+":  "+httpConn.getHeaderField(key));
            }
            // 定义BufferedReader输入流来读取URL的响应,并设置编码方式
            in = new BufferedReader(new InputStreamReader(httpConn
                    .getInputStream(), "GBK"));
            String line;
            // 读取返回的内容
            while ((line = in.readLine()) != null) {
                result += line;
            }
        } catch (Exception e) {
            e.printStackTrace();
            System.out.println("Http请求方法内部问题");
        } finally {
            try {
                if (in != null) {
                    in.close();
                }
            } catch (IOException ex) {
                ex.printStackTrace();
            }
        }
        return result;
    }
View Code

 

#POST网络请求方式
 post请求跟get请求的方式大体流程一样,区别在于传递请求数据的方式不一样,post可以提交的数据大小没有限制,
  而get请求理论上没有大小限制,由于浏览器限制其长度,所以传递数据大小有限制
post请求不需要设置请求头的user-agent
如果要避免登陆,则需要将登陆时返回的请求头中cookie信息在httpUrlConnect中设置请求投信息即可
connection.setRequestProperty("Cookie", "这里放cookie数据");
connection.setRequestProperty("Content-Type",
                    "application/x-www-form-urlencoded;charset=utf-8");
content-type主要进行设置服务器解析数据的方式,服务器会通过请求头的值将body里面的数据以键值对key  value方式进行解析,
我们在后台只需要用request.getParameter("keyName")就可以将数据读取出来
其它提交数据的格式:
  • multipart/form-data类型主要是上传文件时用到;
  • application/x-www-form-urlencoded类型主要是提交k-v时用到,当然这种方法也可以将json设置在v中提交json数据;
  • application/json类型主要是传递json数据用到,层次比较深的数据;
public static String sendPost(String curl, String param) {
        String result = "";// 返回的结果
        BufferedReader in = null;// 读取响应输入流
        try {
            //创建连接
            URL url = new URL(curl);
            HttpURLConnection connection = (HttpURLConnection) url
                    .openConnection();
            connection.setDoOutput(true); 是否打开outputStream 相对于程序,即我们向远程服务器写入数据,默认为false,不打开
            connection.setDoInput(true);  输入流,获取到返回的响应内容, 默认为true,所以get请求时可以不设置这个连接信息 
            connection.setRequestMethod("POST"); //发送请求的方式
            connection.setUseCaches(false); //不使用缓存
            connection.setInstanceFollowRedirects(true); //重定向,一般浏览器才需要
            connection.setRequestProperty("Content-Type",
                    "application/x-www-form-urlencoded;charset=utf-8"); //设置服务器解析数据的方式

            connection.connect();

            //POST请求
            BufferedWriter out = new BufferedWriter(new OutputStreamWriter(connection.getOutputStream(),"UTF-8"));
            out.write(param);
            out.flush();
            out.close();

            //读取响应
            // 定义BufferedReader输入流来读取URL的响应,并设置编码方式
            in = new BufferedReader(new InputStreamReader(connection.getInputStream(), "UTF-8"));
            String line;
            // 读取返回的内容
            while ((line = in.readLine()) != null) {
                result += line;
            }
        } catch (Exception e) {
            e.printStackTrace();
            System.out.println("Http请求方法内部问题");
        } finally {
            try {
                if (in != null) {
                    in.close();
                }
            } catch (IOException ex) {
                ex.printStackTrace();
            }
        }
        return result;
    }

post请求不同提交数据方式有对应的解析方法,json解析和文件上传下次再写个专题

 

o
粉丝 0
博文 500
码字总数 0
作品 0
私信 提问
加载中
请先登录后再评论。
访问安全控制解决方案

本文是《轻量级 Java Web 框架架构设计》的系列博文。 今天想和大家简单的分享一下,在 Smart 中是如何做到访问安全控制的。也就是说,当没有登录或 Session 过期时所做的操作,会自动退回到...

黄勇
2013/11/03
3.6K
8
我的架构演化笔记 功能1: 基本的用户注册

“咚咚”,一阵急促的敲门声, 我从睡梦中惊醒,我靠,这才几点,谁这么早, 开门一看,原来我的小表弟放暑假了,来南京玩,顺便说跟我后面学习一个网站是怎么做出来的。 于是有了下面的一段...

强子哥哥
2014/05/31
976
3
Nutch学习笔记4-Nutch 1.7 的 索引篇 ElasticSearch

上一篇讲解了爬取和分析的流程,很重要的收获就是: 解析过程中,会根据页面的ContentType获得一系列的注册解析器, 依次调用每个解析器,当其中一个解析成功后就返回,否则继续执行下一个解...

强子哥哥
2014/06/26
712
0
研究虚拟机--Jikes RVM

Jikes研究虚拟机(Jikes Research Virtual Machine,简称Jikes RVM)是一种成熟的用于执行Java程序的虚拟机,其早期版本与当前版本分别在通用公共许可证(CPL)与Eclipse公共许可证(EPL)下开...

匿名
2013/02/13
1.1K
0
Swing界面分析和调试工具--Swing Inspector

Swing Inspector是一个Java Swing/AWT用户界面分析和调试工具,功能与firebug类似,具有强大的Swing/AWT用户界面分析和调试相关功能。 适用于从java swing初级到高级的所有开发人员,能够快速...

匿名
2013/03/06
3.4K
0

没有更多内容

加载失败,请刷新页面

加载更多

大数据研发学习之路--Hadoop集群搭建

阅读编译文档 准备一个hadoop源码包,我选择的hadoop版本是:hadoop-2.7.7-src.tar.gz,在hadoop-2.7.7的源码 包的根目录下有一个文档叫做BUILDING.txt,这其中说明了编译hadoop所需要的一些...

DSJ-shitou
34分钟前
8
0
OSChina 周五乱弹 —— 特么是别的公司派来的特洛伊木马吧?

Osc乱弹歌单(2020)请戳(这里) 【今日歌曲】 小小编辑推荐:《我会守在这里》- 毛不易 《我会守在这里》- 毛不易 手机党少年们想听歌,请使劲儿戳(这里) @FalconChen :股市连跪了五天,...

小小编辑
35分钟前
36
2
如何在find中排除目录。命令 - How to exclude a directory in find . command

问题: I'm trying to run a find command for all JavaScript files, but how do I exclude a specific directory? 我正在尝试为所有JavaScript文件运行find命令,但是如何排除特定目录? ......

法国红酒甜
今天
69
0
《Java8实战》笔记(02):通过行为参数传递代码

本文源码 应对不断变化的需求 通过筛选苹果阐述通过行为参数传递代码 初试牛刀:筛选绿苹果 public static List<Apple> filterGreenApples(List<Apple> inventory){List<Apple> result = ......

巨輪
今天
19
0
JeeSite 4 架构特点、安全方面、为什么好、工匠精神、不忘初心

1、底层架构 以 Spring Boot 2 为基础,Maven 多项目依赖,模块分项目,松耦合,方便模块升级、增减模块。 模块化的数据库自动升级程序,当模块升级代码需要更新数据库时,自动执行对应版本 ...

ThinkGem
昨天
13
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部