文档章节

小白用Python玩爬虫,必须了解的一个爬虫流程!

糖宝lsh
 糖宝lsh
发布于 02/22 19:05
字数 517
阅读 15
收藏 0

爬虫基本流程

  • 发起请求
  • 通过HTTP库向目标服务器发送Request,Request内可以包含额外的headers信息。
  • 获取响应内容
  • 如果服务器正常响应,会返回Response, 里面包含的就是该页面的内容。
  • 解析数据
  • 内容或许是HTML,可以用正则表达式、网页解析库进行解析。
  • 或许是Json,可以直接转换为Json对象解析。
  • 保存数据
  • 可以存储为文本,也可以保存至数据库,或其他特定类型文件。

小白用Python玩爬虫,必须了解的一个爬虫流程!(文末附赠教程)

 

Response中包含的内容

  • 响应状态
  • Status Code:200
  • 即状态码,一般200表示响应成功。
  • 响应头
  • Response Headers
  • 内容类型,内容长度,服务器信息,设置Cookie等。
  • 响应体
  • 请求资源的内容,如网页源代码,二进制数据等。在学习中有迷茫不知如何学习的朋友小编推荐一个学Python的学习q u n 227  -435-  450可以来了解一起进步一起学习!免费分享视频资料

小白用Python玩爬虫,必须了解的一个爬虫流程!(文末附赠教程)

 

小白用Python玩爬虫,必须了解的一个爬虫流程!(文末附赠教程)

 

一般做网页请求的时候,可以先判断状态码是否是200,再取出响应体进行解析。

解析方式

  • 直接处理
  • Json解析
  • 正则表达式
  • BeautifulSoup
  • PyQuery
  • XPath

视情况选择合适的解析方式。

保存数据

  • 文本保存
  • 纯文本、Json、Xml等。
  • 关系型数据库保存
  • MySQL、Oracle、SQLServer等。
  • 非关系型数据库保存
  • MongoDB、Redis等Key-Value形式存储。
  • 二进制文件
  • 图片、视频、音频等特定文件。

Urllib库

Python内置的HTTP请求库

模块说明urllib.request请求模块urllib.error异常处理模块urllib.parseurl解析模块urllib.robotparserrobots.txt解析模块

小白用Python玩爬虫,必须了解的一个爬虫流程!(文末附赠教程)

 

小白用Python玩爬虫,必须了解的一个爬虫流程!(文末附赠教程)

小白用Python玩爬虫,必须了解的一个爬虫流程!(文末附赠教程)

© 著作权归作者所有

共有 人打赏支持
糖宝lsh
粉丝 39
博文 168
码字总数 268740
作品 0
临沂
私信 提问
5个python爬虫教材,让小白也有爬虫可写,含视频教程!

认识爬虫   网络爬虫,如果互联网是一张蜘蛛网,网络爬虫既是一个在此网上爬行的蜘蛛,爬了多少路程即获取到多少数据。 python写爬虫的优势   其实以上功能很多语言和工具都能做,但是用...

柯西带你学编程
2018/06/12
0
0
大佬程序员给小白整理出的详细Python爬虫学习路线,机不可失!

Python是一种面向对象、直译式计算机程序设计语言,由Guido van Rossum于1989年底发明。由于他简单、易学、免费开源、可移植性、可扩展性等特点,Python又被称之为胶水语言。下图为主要程序语...

糖宝lsh
01/16
0
0
关于Python面试的四点,你做到就万事大吉了!

第一点:Python 因为面试的是Python爬虫岗位,面试官大多数会考察面试者的基础的Python知识,包括但不限于: Python2.x与Python3.x的区别 Python的装饰器 Python的异步 Python的一些常用内置...

糖宝lsh
2018/09/29
0
0
实战 Python 网络爬虫:美团美食商家信息和用户评论

实战 Python 网络爬虫 美团美食商家信息和用户评论 作者简介: Hyx,多年系统研发经验,主要从事机器人流程系统研发、大数据系统研发、网络爬虫研发以及自动化运维系统开发。 擅长使用 Pyth...

GitChat技术杂谈
2018/11/15
0
0
月薪5千加班到凌晨,月薪5万5点下班,差别究竟在哪里?

说起程序员人们的第一印象就是工资高、加班凶、话少钱多头发少。再加上现在科技互联网公司太吃香,BAT、华为和小米等公司程序员加班情况被广泛传播,程序员用生命在敲代码的印象刻在了很多人...

技术小能手
2018/09/18
0
0

没有更多内容

加载失败,请刷新页面

加载更多

如果让你写一个消息队列,该如何进行架构设计?

面试题 如果让你写一个消息队列,该如何进行架构设计?说一下你的思路。 面试官心理分析 其实聊到这个问题,一般面试官要考察两块: 你有没有对某一个消息队列做过较为深入的原理的了解,或者...

李红欧巴
今天
4
0
错题

无知的小狼
今天
2
0
PowerShell因为在此系统中禁止执行脚本的解决方法

参考:window系统包管理工具--chocolatey 报错提示: & : 无法加载文件 C:\Users\liuzidong\AppData\Local\Temp\chocolatey\chocInstall\tools\chocolateyInstall.ps1,因为在此系统上禁止运...

近在咫尺远在天涯
今天
3
0
TP5 跨域请求处理

https://blog.csdn.net/a593706205/article/details/81774987 https://blog.csdn.net/wyk9916/article/details/82315700...

15834278076
今天
3
0
深入理解java虚拟机-Java内存区域与内存溢出异常

深入理解java虚拟机 Java内存区域与内存溢出异常 运行时数据区域 程序计数器 线程私有,内存小,是当前线程执行的字节码行号指示器,字节码解释器通过改变这个计数器的值来选取下一条需要执行...

须臾之余
今天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部