《52讲轻松搞定网络爬虫》读书笔记 - HTTP基本原理

2019/04/10 10:10
阅读数 35

URI 和 URL

URI :Uniform Resource Identifier,即统一资源标志符,

URL :Universal Resource Locator,即统一资源定位符。

 

举栗子,加深理解

链接https://github.com/favicon.ico,它是一个URI也是一个URL,唯一指向一个图标资源,可以通过URI/URL在互联网上找到它

 

URL和URI的关系

URL 是 URI 的子集,也就是说每个 URL 都是 URI,但不是每个 URI 都是 URL;URI还包括一个子类叫做URN(Uniform Resource Name),即统一资源名称

 

URN的作用

URN 只命名资源而不指定如何定位资源

举栗子

比如 urn:isbn:0451450523 指定了一本书的 ISBN,可以唯一标识这本书,但是没有指定到哪里定位这本书

 

URI、URL、URN的关系图

 

总结

但是在目前的互联网,URN 的使用非常少,几乎所有的 URI 都是 URL,所以一般的网页链接我们可以称之为 URL,也可以称之为 URI

 

HTTP协议

超文本

我们在浏览器里看到的网页就是超文本解析而成的,其网页源代码是一系列 HTML 代码,而这些可称为超文本

 

HTTP 和 HTTPS

HTTP:超文本传输协议

HTTP作用:从网络传输超文本内容到本地浏览器的协议,保证高效准确的传送超文本内容;最常用1.1版本

HTTPS:HTTP的安全版,在HTTP协议的基础上加了一层SSL协议,SSL属于安全协议

HTTPS的作用

  • 建立一个安全传输通道,保证数据传输的安全性
  • 确认网站的真实性,在浏览器可通过网站的证书查看它认证后的真实信息,也可以通过CA机构颁发的安全签章来查询

 

HTTP请求过程

在客户端(PC电脑或者手机)输入URL,回车后即可看到页面内容,那这个过程的原理是啥呢?

  1. 客户端发送请求到服务器
  2. 服务器接收请求,处理和解析请求
  3. 服务器返回对应的响应给浏览器

 

通过浏览器开发者工具的network看请求信息

  1. Name:请求名称,一般截取URL的最后一部分内容当名称
  2. Status:响应状态码
  3. Type:请求的文档类型
  4. Initiator:请求源,标记请求是由哪个对象或进程发起的
  5. Size:有三种类型 memory cache、disk cache、资源本身大小
  6. Time:完成一个请求事务的所需时间(发起请求-处理请求-返回响应)
  7. Waterfa:页面请求过程的可视化瀑布

 

memory cache、disk cache区别

memory cache:字面意思就是内存缓存,代表这个资源直接从内存获取, 不经过服务器,当关闭当前页面时,这个资源就被释放掉了

disk cache:硬盘缓存,代表这个资源从本地硬盘获取,也不经过服务器,但不会因关闭当前页面会释放掉,下次打开该页面,该资源仍然显示disk cache

 

细品一个请求的正确组成

 

首先,请求的组成部分

Request从客户端向服务端发送,可以分为4部分:请求方法(Request Method),请求网址(Request URL),请求头(Request Headers),请求体(Request Body)

 

然后,看General部分 

已经包含了刚刚说的请求方法和请求网址

status code:响应状态码

Remote Address:远程服务器的地址和端口

Referrer Policy:Referrer 判别策略

 

请求方法

 

请求头

用来说明服务器要使用的附加信息,比较重要的信息有:Cookie、Refer、User-Agent

  • Accept:请求报头域,用于指定客户端可接受哪些类型的信息。
  • Accept-Language:指定客户端可接受的语言类型。
  • Accept-Encoding:指定客户端可接受的内容编码。
  • origin:请求协议+请求域名
  • referer:请求资源地址,标识这个请求是从哪个页面;作用:服务器拿到这信息做处理,如来源统计、防盗链处理
  • user-agent:俗称  UA ,让服务器识别客户端的操作系统、系统版本、浏览器版本等信息。在做爬虫时需要加上此信息,伪装成浏览器
  • Content-type:互联网媒体类型,也称MIME类型,一般叫请求的媒体类型信息;常见的有:text/html 代表 HTML 格式,image/gif 代表 GIF 图片,application/json 代表 JSON 类型
  • Cookie:存储用户信息,一般搭配服务端的Session使用

 

请求体

Query String Paramter:请求URL后面跟的请求参数,一般是GET请求的数据

Request Playload:请求数据,一般是POST请求的数据

 

POST请求提交数据方式和Content-Type的关系

 

 

细品响应的组成 

一般分为三部分:响应状态码(Response Status Code)、响应头(Response Headers)、响应体(Response Body)

 

响应状态码

 

响应头

  • 包含了:服务器对请求的应答信息,如 Content-Type、Server、Set-Cookie 等
  • 常见响应信息有
  • Date:响应产生的时间
  • Last-Modified:资源的最后修改时间
  • Content-Encoding:响应内容的编码
  • Content-Length:响应内容长度
  • Server:包含服务器的信息,比如名称、版本
  • Content-Type:响应内容的文档类型,如果是接口响应,通常为application/json,也可能会加charset=utf-8指定字符集
  • Set-Cookie:设置 Cookies。响应头中的 Set-Cookie 告诉浏览器需要将此内容放在 Cookies 中,下次请求携带 Cookies 请求
  • Expires:指定响应的过期时间,可以让客户端将加载的内容更新到缓存中,如果再次访问时,可以直接从缓存中加载,降低服务器负载,缩短压缩时间

 

响应体

响应返回的内容都在响应体中,比如请求网页时,它的响应体就是网页的 HTML 代码;请求一张图片时,它的响应体就是图片的二进制数据;请求一个查询接口时,它响应体就是json字符串

 

原文出处:https://www.cnblogs.com/poloyy/p/12503633.html

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部