文档章节

闲来没事写了个python爬爬

欢哥
 欢哥
发布于 2014/08/15 11:21
字数 194
阅读 17
收藏 0
import urllib2,urllib
import os,re

if __name__ == '__main__':
    
	pathw = os.getcwd()

	for i in range(5, 5365 + 1):
		try:
			response = urllib2.urlopen('http://www.cssmoban.com/cssthemes/'+str(i)+'.shtml') 
			html = response.read()

			imagetitleregion = r'<div class="large-Imgs">\r\n								<img src="(.+?)" alt="(.+?)">'
			print imagetitleregion
			#提取图片和标题
			m = re.compile(imagetitleregion).findall(html,re.S)
			
			imageurl = m[0][0].decode("utf-8")
			title = m[0][1].decode("utf-8")
			path = pathw+'\\'+title+'_'+str(i)
			#print imageurl
			if not(os.path.isdir(path)):
				os.mkdir(path)

			if imageurl != u'佚名':
				urllib.urlretrieve('http://www.cssmoban.com'+imageurl, path+'\\'+str(i)+'.jpg')

			#提取文件路径
			downregion = '<a href="(.+?)" target="_blank" class="button btn-down" title="免费下载"><i class="icon-down icon-white"></i><i class="icon-white icon-down-transiton"></i>免费下载</a>'
			m = re.compile(downregion).findall(html)

			urllib.urlretrieve(m[0], path+'\\'+str(i)+'.rar')
		except:  
			print '爬页面数据失败'

代码贴出来了

© 著作权归作者所有

欢哥

欢哥

粉丝 11
博文 6
码字总数 412
作品 6
武汉
后端工程师
私信 提问
国内顶尖白帽子用Python打造渗透工具集,当时花上万购买都被拒!

前言 python是门简单易学的语言,强大的第三方库让我们在编程中事半功倍,今天我们就来谈谈python在渗透测试中的应用,让我们自己动手打造自己的渗透工具集。 一、信息搜集--py端口扫描小脚本...

诸葛青云999
2018/08/18
0
0
自从教学弟学会了Python,他每天都爬一些好不正经的图片!

学弟他作为一个宅男,闲着没事就喜欢用我教他的Python来爬一些 “资源” 套图欣赏,我每次都骂他你总是这样找个女朋友不好点,他不以为然,依旧如故。气的我只好把他写的东西发出来让更多的人...

Python燕大侠
2018/07/06
4.4K
21
5.2 高富帅python-人工智能时代

小奈:其实你们写的代码好像有不同派系的? 大仁:你是说编程语言?我来介绍下吧,我们来看下GitHub(程序员同城交友、代码协作平台)的数据,看下各种编程语言 Pull Requst的数据, Javascr...

产品经理的技术课堂
2018/05/11
0
0
Python BeautifulSoup爬取oschina个人blog文章

前段时间学习了一些python的模块,要熟悉各个功能还是得写写代码的,所以根据前面掌握的模块知识,写了一个小程序,专门用来爬取oschina的个人博客文章的小工具。经常看到一些大牛的好文章,...

China_OS
2012/12/21
1K
0
五十风/BeiJingSubwayFlows

BeiJingSubwayFlows 突然很好奇北京地铁每天的客流量变化,于是写了个爬虫。结果很有意思,每周7天的客流变化都很规律 结果: https://www.ikaze.cn/subflows.html 其他: 使用python3爬数据...

五十风
2018/04/13
0
0

没有更多内容

加载失败,请刷新页面

加载更多

nginx学习笔记

中间件位于客户机/ 服务器的操作系统之上,管理计算机资源和网络通讯。 是连接两个独立应用程序或独立系统的软件。 web请求通过中间件可以直接调用操作系统,也可以经过中间件把请求分发到多...

码农实战
今天
5
0
Spring Security 实战干货:玩转自定义登录

1. 前言 前面的关于 Spring Security 相关的文章只是一个预热。为了接下来更好的实战,如果你错过了请从 Spring Security 实战系列 开始。安全访问的第一步就是认证(Authentication),认证...

码农小胖哥
今天
11
0
JAVA 实现雪花算法生成唯一订单号工具类

import lombok.SneakyThrows;import lombok.extern.slf4j.Slf4j;import java.util.Calendar;/** * Default distributed primary key generator. * * <p> * Use snowflake......

huangkejie
昨天
12
0
PhotoShop 色调:RGB/CMYK 颜色模式

一·、 RGB : 三原色:红绿蓝 1.通道:通道中的红绿蓝通道分别对应的是红绿蓝三种原色(RGB)的显示范围 1.差值模式能模拟三种原色叠加之后的效果 2.添加-颜色曲线:调整图像RGB颜色----R色增强...

东方墨天
昨天
11
1
将博客搬至CSDN

将博客搬至CSDN

算法与编程之美
昨天
13
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部