文档章节

一起学爬虫——如何爬取通过ajax加载数据的网站

SEOwhywhy
 SEOwhywhy
发布于 2018/12/07 22:12
字数 1072
阅读 132
收藏 0

  一起学爬虫——如何爬取通过ajax加载数据的网站
  
  目前很多网站都使用ajax技术动态加载数据,和常规的网站不一样,数据时动态加载的,如果我们使用常规的方法爬取网页,得到的只是一堆html代码,没有任何的数据。
  
  请看下面的代码
  
  headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0"}
  
  response = requests.get(url,headers=headers)
  
  print(response.text)
  
  上面的代码是爬取今日头条的一个网页,并打印出get方法返回的文本内容如下图所示,值现在一堆网页代码,并没有相关的头条新闻信息
  
  python ajax
  
  内容过多,只截取部分内容,有兴趣的朋友可以执行上面的代码看下效果。
  
  对于使用ajax动态加载数据的网页要怎么爬取呢?我们先看下近日头条是如何使用ajax加载数据的。通过chrome的开发者工具来看数据加载过程。
  
  首先打开chrome浏览器,打开开发者工具,点击Network选项,点击XHR选项,然后输入网址:https://www.toutiao.com/search/?keyword=美女 ,点击Preview选项卡,就会看到通过ajax请求返回的数据,Name那一栏就是ajax请求,当鼠标向下滑动时,就会出现多条ajax请求:
  
  python ajax
  
  通过上图我们知道ajax请求返回的是json数据,我们继续分析ajax请求返回的json数据,点击data展开数据,接着点击0展开数据,发现有个title字段,内容刚好和网页的第一条数据匹配,可知这就是我们要爬取的数据。如下所示:
  
  python ajax
  
  鼠标向下滚动到网页底部时就会触发一次ajax请求,下面是三次ajax请求:
  
  https://www.toutiao.com/search_content/?offset=0&format=json&keyword=%E7%BE%8E%E5%A5%B3&autoload=true&count=20&cur_tab=1&from=search_tab&pd=synthesis
  
  https://www.toutiao.com/search_content/?offset=20&format=json&keyword=%E7%BE%8E%E5%A5%B3&autoload=true&count=20&cur_tab=1&from=search_tab&pd=synthesis
  
  https://www.toutiao.com/search_content/?offset=40&format=json&keyword=%E7%BE%8E%E5%A5%B3&autoload=true&count=20&cur_tab=1&from=search_tab&pd=synthesis
  
  观察每个ajax请求,发现每个ajax请求都有offset,format,keyword,autoload,count,cur_tab,from,pd参数,除了offset参数有变化之外,其他的都不变化。每次ajax请求offset的参数变化规律是0,20,40,60...,可以推测offset是偏移量,count参数是一次ajax请求返回数据的条数。
  
  为了防止爬虫被封,每次请求时要把请求时都要传递请求头信息,请求头信息中包含了浏览器的信息,如果请求没有浏览器信息,就认为是网络爬虫,直接拒绝访问。request header信息如下:
  
  headers = {
  
  "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0",
  
  "referer": "https://www.quwanyule157.com /search/?keyword=%E7%BE%8E%E5%A5%B3",
  
  'x-requested-with': 'XMLHttpRequest'
  
  }
  
  完整代码如下:
  
  import requests
  
  from urllib.parse import urlencode
  
  def parse_ajax_web(offset):
  
  url = 'https://www.toutiao.com/search_content/?'
  
  #请求头信息
  
  headers = {
  
  "User-Agent":www.michenggw.com/ "Mozilla/5.0 (Windows NT 10.0;www.gcyL157.com WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0",
  
  "referer": "https://www.yigouyule2.cn /search/",
  
  'x-requested-with': 'XMLHttpRequest'
  
  }
  
  #每个ajax请求要传递的参数
  
  parm = {
  
  'offset': offset,
  
  'format': 'json',
  
  'keyword': '美女',
  
  'autoload': 'true',
  
  'count': 20,
  
  'cur_tab': 1,
  
  'from': 'search_tab',
  
  'pd': 'synthesis'
  
  }
  
  #构造ajax请求url
  
  ajax_url = url + urlencode(parm)
  
  #调用ajax请求
  
  response = requests.get(ajax_url, headers=headers)
  
  #ajax请求返回的是json数据,通过调用json()方法得到json数据
  
  json = response.json()
  
  data = json.get('data')
  
  for item in data:
  
  if item.get('title') is not None:
  
  print(item.get('title'))
  
  def main():
  
  #调用ajax的次数,这里调用5次。
  
  for offset in (range(0,5)):
  
  parse_ajax_web(offset*20)
  
  if __name__ == '__main__':
  
  main()
  
  上面是爬取通过ajax请求加载数据网站的例子,如果想要其他的数据,可以动手自己写,这里只是搭了一个架子,各位可以尝试将数据写入到excel或者数据库中。

© 著作权归作者所有

SEOwhywhy
粉丝 8
博文 155
码字总数 342404
作品 0
私信 提问
Python爬虫如何快速上手,并达到爬取大规模数据的水平

互联网的数据爆炸式的增长,而利用 Python 爬虫我们可以获取大量有价值的数据: 1.爬取数据,进行市场调研和商业分析 爬取知乎优质答案,筛选各话题下最优质的内容; 抓取房产网站买卖信息,...

技术小能手
2018/06/28
0
0
爬虫与反爬虫的博弈

图片来自 unsplash 1 前言 近来这两三个月,我陆续将自己学到的爬虫技术分享出来。以标准网络库 urllib 的用法起笔,接着介绍各种内容提供工具,再到后续的 scrapy 爬虫框架系列。我的爬虫分...

猴哥Yuri
2017/10/14
0
0
如何不编程,采集网站评论信息?(视频教程)

如果你不想学编程,数据采集爬虫也是可以用的。 简介 最近的一次组会,我们请来了一位分享嘉宾——15级研究生庞琳同学,给我们科研团队分享网站评论数据的采集。 还记得去年这个时候,庞琳过...

王树义
2018/04/23
0
0
SuperSpider——打造功能强大的爬虫利器

1.爬虫的介绍 图1-1 爬虫(spider) 网络爬虫(web spider)是一个自动的通过网络抓取互联网上的网页的程序,在当今互联网中得到越来越广泛的使用。这种技术一般用来爬取网页中链接,资源等,当...

云栖希望。
2017/12/04
0
0
网页爬虫及其用到的算法和数据结构

网络爬虫程序的优劣,很大程度上反映了一个搜索引擎的好差。不信,你可以随便拿一个网站去查询一下各家搜索对它的网页收录情况,爬虫强大程度跟搜索引擎好坏基本成正比。 1.世界上最简单的爬...

renew
2014/09/30
3.3K
4

没有更多内容

加载失败,请刷新页面

加载更多

Spring Boot + Mybatis + Ehcache 二级缓存实例

二级缓存是多个SqlSession共享的,其作用域是mapper的同一个namespace,不同的sqlSession两次执行相同namespace下的sql语句且向sql中传递参数也相同即最终执行相同的sql语句,第一次执行完毕...

xiaolyuh
20分钟前
4
0
Spring源码学习(二)哎呦,按菜谱做菜与AbstractAutowireCapableBeanFactory.createBean流程差不多

记得跟老婆谈恋爱时,有一天心血来潮给老婆做饭,按照菜谱一步一步的做,结果差点把厨房烧了!!! 这事至今老婆还记得。 入口 上一篇说了,AbstractBeanFactory.getBean的主流程 ,今天来说下...

温安适
22分钟前
34
0
前端UI攻城狮 你们该抛弃jQuery了

你不再需要jQuery! Web工程师太依赖jQuery了,某种意义上说jQuery已经成了JavaScript的同义词。但是我们真的需要他么?或许我们应该反思一下什么时候才真的需要jQuery。 对我个人而言开始使...

前端老手
23分钟前
5
0
六、Java设计模式之工厂方法

工厂方法定义: 定义一个创建对象的接口,但让实现这个接口的类来决定实例化哪个类,工厂方法让类的实例化推迟到子类中进行 类型:创建型 工厂方法-使用场景: 创建对象需要大量重复的代码 ...

东风破2019
今天
6
0
win服务器管理遇到的一系列问题记录

有些小伙伴在使用iis7远程桌面管理工具的时候总是会遇到一系列的问题,下面就是为大家介绍一下服务器日常管理过程中出现的问题及我的解决办法和心得。希望能帮到大家。   拒绝服务器重新启...

1717197346
今天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部