文档章节

python爬取自如数据

栋栋也疯狂
 栋栋也疯狂
发布于 09/16 12:43
字数 1409
阅读 53
收藏 0

前言

学习python有一小段时间了,爬虫也看了一些,所以想拿个简单点的练一下手,而且最近碰上自如比较火,这里就用自如来练手把

分析

链接:http://www.ziroom.com/z/nl/z3.html

上面那个是自如北京的搜索页面,按照我的理解,所有的房源和一些基本信息应该都可以从这个页面得来(自如宅是自如自己的广告,不是我们需要的),这些都是页面看到的信息,还有一个信息我们其实也可以拿下来,用于以后如果有需要的时候用,就是每一个房源的详细页面链接

然后我们看到其实链接都是固定套路,不一样的只是后面那串数子,我猜就是数据库保存的主键了,那么我们也就可以开始准备我们自己的数据格式了(我这里是保存在mysql的)

CREATE TABLE `beijing` (
  `id` int(10) NOT NULL AUTO_INCREMENT COMMENT '主键id',
  `price` int(10) NOT NULL DEFAULT '0' COMMENT '价格',
  `size` decimal(10,2) DEFAULT '0.00' COMMENT '大小',
  `floor` int(10) NOT NULL DEFAULT '0' COMMENT '楼层',
  `total_floor` int(10) NOT NULL DEFAULT '0' COMMENT '总楼层',
  `room` int(10) NOT NULL DEFAULT '0' COMMENT '房',
  `hall` int(10) NOT NULL DEFAULT '0' COMMENT '厅',
  `line` varchar(20) NOT NULL DEFAULT '' COMMENT '几号线',
  `station` varchar(20) NOT NULL DEFAULT '' COMMENT '地铁站',
  `distance` int(10) NOT NULL DEFAULT '0' COMMENT '距离',
  `taps` varchar(200) NOT NULL DEFAULT '' COMMENT '标签',
  `href` varchar(100) NOT NULL DEFAULT '' COMMENT '链接',
  `address` varchar(100) NOT NULL DEFAULT '' COMMENT '附近地址',
  `area` varchar(20) NOT NULL DEFAULT '' COMMENT '区',
  `phase` varchar(20) NOT NULL DEFAULT '' COMMENT '收费周期',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB  DEFAULT CHARSET=utf8;

接下来我们就开始分析页面,首先我发现,点击分页2的时候,url改变了

http://www.ziroom.com/z/nl/z3.html?p=2 很简单,只是一个普通的p来控制,但是这个会有一个问题,就是我们看全部的这个页的时候,发现只有50页,后面的数据就出不来了,北京的房源实际是不止那么少的,我就去点了另外一个链接

http://www.ziroom.com/z/nl/z3-d23008614.html

出现了只有13页,是不是说,每个标签的全部下面都不会超过50的分页,我们只需要去拿这些链接下面的数据就可以了呢,然后我就点了朝阳区下面的全部的这个链接,发现页数也是50,也就是说,我们不能拿这个标签,还需要再细一级,拿每一个区域下面的每一个标签(不拿全部的这个标签,因为数据这样就重复了),拿这些标签是在zindex6下面的ul下的每一个li的第三个span开始一直到最后的一个span里面的a变迁的href的属性

r = requests.get(self.url)
    bsObj = BeautifulSoup(r.text, 'lxml')
    lis = bsObj.select('.zIndex6 ul li')
    for li in lis[1:]:
        hs = li.select('span')[2:]
        for h in hs:
            # 这个就是了
            href = 'http:' + h.select('a')[0].attrs.get('href')

这里,我们拿到了每一个页面,我们还需要知道这个页面有多少分页,好方便我们去循环

bsObj = self.get_html(url)
page_str = bsObj.find(string=re.compile('共([0-9]*)页'))
page = re.search('共([0-9]*)页', page_str).group(1)

接下来我们是不是就可以开始抓取了呢,不是的,其实还有一个问题,我们看价格

它的价格既不是文本,也不是图片,而是用css来控制的,怎么控制

我们找到这个css后面的背景图,发现是一个类似雪碧图的东西

而刚刚那个价格是怎么来的,2130,

2对应的位移是270,在雪碧图的最第十个(index=9),1对应的位移是30,在雪碧图的第二个(index=1),3对应的位置是60,在雪碧图的第三个

我们已经找到规律了

i = re.search('background-position:-([0-9]*)px', style).group(1)
k = int(int(i) / 30)
// code为雪碧图的数字
price_str += code[k:k + 1]

那么是不是我们这个图的数字排序是固定的,我们打开另外一个链接,发现不是的,这个图片是随机生成的,也就是说,我们没打开一个链接,都是不一样的,那么要怎么找到这个图片呢,看源码,我们发现这么一个js

<script>
var offset_unit = 30;        
if(window.devicePixelRatio >1){
    $('body').addClass('ratio2');
}
var ROOM_PRICE = {"image":"//static8.ziroom.com/phoenix/pc/images/price/b7944d44332aca7b65a0df428ec83cads.png","offset":[[9,1,2,6],[9,5,4,6],[1,7,4,6],[1,7,4,6],[9,2,4,6],[9,9,4,6],[9,9,4,6],[1,7,8,6],[9,1,2,6],[9,7,8,6],[5,6,8,6],[8,6,8,6],[9,3,2,6],[9,8,2,6],[9,5,2,6],[9,8,8,6],[8,6,4,6],[9,6,4,6]]};


$('#houseList p.price').each(function(i){
	var dom = $(this);
	if(!ROOM_PRICE['offset'] || !ROOM_PRICE['offset'][i]) return ;
	var pos = ROOM_PRICE['offset'][i];
	for(i in pos){
		var inx = pos.length -i -1;
		var seg = $('<span>', {'style':'background-position:-'+(pos[inx]*offset_unit)+'px', 'class':'num'});
		dom.prepend(seg);
	}
	var seg = $('<span>', {'style':'background-position:1000px', 'class':'num rmb'}).html('¥');
	dom.prepend(seg);
});
</script>

这个图片的链接就在这里,我们需要提取出来

js_str = bsObj.find(string=re.compile("//static8.ziroom.com/phoenix/pc/images/price/(.*).png"))
img_url = 'http:' + re.search('//static8.ziroom.com/phoenix/pc/images/price/(.*).png', js_str).group(0)

拿出来以后,我们还需要借助一个工具来识别出来这个数字是怎样的,下载下来放在一个地方,这样我们就得到了这个数字了,

path = './code.png'
urllib.request.urlretrieve(img_url, path)
image = Image.open(path)
code = pytesseract.image_to_string(image, config='--psm 6')

这样,我们就可以按照这个逻辑来一步一步的完成这个爬取,最后源码放在了GitHub,需要的自取合适的城市

https://github.com/gcdong/ziroom

© 著作权归作者所有

共有 人打赏支持
栋栋也疯狂
粉丝 0
博文 27
码字总数 20667
作品 0
广州
私信 提问
国内顶尖白帽子用Python打造渗透工具集,当时花上万购买都被拒!

前言 python是门简单易学的语言,强大的第三方库让我们在编程中事半功倍,今天我们就来谈谈python在渗透测试中的应用,让我们自己动手打造自己的渗透工具集。 一、信息搜集--py端口扫描小脚本...

诸葛青云999
08/18
0
0
手把手教你写网络爬虫(1):网易云音乐歌单

原文出处:拓海 大家好,《手把手教你写网络爬虫》连载开始了!在笔者的职业生涯中,几乎没有发现像网络爬虫这样的编程实践,可以同时吸引程序员和门外汉的注意。本文由浅入深的把爬虫技术和...

拓海
04/27
0
0
分分钟几万上下!用Python爬取包图网视频(附代码)切勿商用!

分析网页数据结构 目标抓取全站视频数据保存在本地, 并以网站视频名命名视频文件。 经分析我们可以发现总站数据 我们可以从这四这选项下手 分析网页数据格式 网页数据为静态 抓取下一页链接...

Python新世界
07/24
0
0
Python 从爬虫到数据分析(一)定义

1.什么是爬虫? 网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字...

China丶小可
09/04
0
0
Python实用教学:如何用Python玩转各大网站

Hi~,各位小伙伴,Python是目前编程语言中的主流语言之一,也是公认最容易入门的编程语言,因为Python语言近几年的火爆,有很多小伙伴都开始学习这门语言。 编程语言学习,最重要的是“多看代...

W3Cschool小编
07/31
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Apache日志不记录访问静态文件,访问日志切割,静态元素过期时间设置

Apache配置不记录访问静态文件的日志 网站大多元素为静态文件,如图片、css、js等,这些元素可以不用记录 vhost原始配置 <VirtualHost *:80> ServerAdmin test@163.com DocumentRoo...

野雪球
49分钟前
1
0
聊聊storm的ICommitterTridentSpout

序 本文主要研究一下storm的ICommitterTridentSpout ICommitterTridentSpout storm-core-1.2.2-sources.jar!/org/apache/storm/trident/spout/ICommitterTridentSpout.java public interface......

go4it
53分钟前
2
0
Ubuntu常用操作

查看端口号 netstat -anp |grep 端口号 查看已使用端口情况 netstat -nultp(此处不用加端口号) netstat -anp |grep 82查看82端口的使用情况 查找被占用的端口: netstat -tln netstat -tl...

hc321
昨天
1
0
网站cdn的静态资源突然访问变的缓慢,问题排查流程

1.首先我查看了一下是否自己的网络问题,通过对比其他资源的访问速度和下载速度,确认不是 2.通过ping 和 tracert 判断cdn域名能否正常访问,(最后回想感觉这一步可以省略,因为每次最终能访...

小海bug
昨天
3
0
Mybatis 学习笔记四 MyBatis-Plus插件

Mybatis 学习笔记四 MyBatis-Plus插件 maven依赖 <dependency> <groupId>com.baomidou</groupId> <artifactId>mybatis-plus</artifactId> <ve......

晨猫
昨天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部