文档章节

Python 抓取图片例子 实测

江南小胖子
 江南小胖子
发布于 2017/03/25 22:22
字数 217
阅读 11
收藏 1

# -*- coding: utf-8 -*-  
import urllib  
import re  
import time  
import os  
import socket  
#显示下载进度  
def schedule(a,b,c):  
#    a:已经下载的数据块 
#    b:数据块的大小 
#    c:远程文件的大小 
    per = 100.0 * a * b / c  
    if per > 100 :  
        per = 100  
    print '%.2f%%' % per  
  
def getHtml(url):  
    socket.setdefaulttimeout(5)
    page = urllib.urlopen(url)  
    html = page.read()  
    return html  
  
def downloadImg(html,prei):  
    reg = r'src="(.+?\.jpg)"'  
    imgre = re.compile(reg)  
    imglist = re.findall(imgre, html)  
    #定义文件夹的名字  
    t = time.localtime(time.time())  
    foldername = prei + str(t.__getattribute__("tm_year"))+"-"+str(t.__getattribute__("tm_mon"))+"-"+str(t.__getattribute__("tm_mday"))  
    picpath = '/Users/chenbing/Documents/workspace/python/jpg/%s' % (foldername) #下载到的本地目录  
      
    if not os.path.exists(picpath):   #路径不存在时创建一个  
        os.makedirs(picpath)     
    x = 0  
    for imgurl in imglist:  
        target = picpath+'\\%s.jpg' % x  
        print 'Downloading image to location: ' + target + '\nurl=' + imgurl  
        image = urllib.urlretrieve(imgurl, target, schedule)  
        x += 1  
    return image;  
  
      
      
if __name__ == '__main__':  
    print '''''  start  .........'''  
    for i in range(100000, 999999):
    strs = "http://tieba.baidu.com/p/5039"+str(i)
    try:
        html = getHtml(strs)
        downloadImg(html,str(i))  
    except Exception, e:
        print strs+" error "

    print "Download has finished."  
 

© 著作权归作者所有

江南小胖子
粉丝 4
博文 18
码字总数 1162
作品 0
深圳
程序员
私信 提问
Python异步加载爬虫,护士私密照源源不断,Ajax抓取速度惊人!

利用aiohttp这个库来进行异步协程提速! 如果Python爬虫不仅在代码编写上展现速度,而且在爬取过程中表现出优越感,最好的就是去下载图片吧,而下载图片最好的代表当然是......我就不多说了。...

Python新世界
2018/07/17
0
0
Python通过代理多线程抓取图片

Python作为一门功能强大的脚本语言,经常被用来写爬虫程序,下面是Python通过代理多线程抓取图片代码 Python爬虫多线程抓取代理服务器参考:http://www.linuxeye.com/program/1763.html 说明...

lj2007331
2013/07/15
455
0
[雪峰磁针石博客]2018最佳人工智能数据采集(爬虫)工具书下载

Python网络数据采集 Python网络数据采集 - 2016.pdf 本书采用简洁强大的Python语言,介绍了网络数据采集,并为采集新式网络中的各种数据类型提供了全面的指导。第 1部分重点介绍网络数据采集...

python测试开发人工智能安全
2018/11/07
251
0
Python:通过摄像头抓取图像并自动上传至新浪微博

通过上一篇文章《Python:通过摄像头实现的监控功能》,突然想到将每次采集到的图片可以直接上传至微博,然后可以通过手机准实时查看要监控的地方,实现思路如下: a.程序A 每30s通过摄像头采...

张卫泉
2012/08/29
600
0
零基础入门学习Python爬虫必备的知识点!

关于Python有一句名言:不要重复造轮子。 但是问题有三个: 1、你不知道已经有哪些轮子已经造好了,哪个适合你用。有名有姓的的著名轮子就400多个,更别说没名没姓自己在制造中的轮子。 2、确...

Mr_zebra
2018/09/28
14
0

没有更多内容

加载失败,请刷新页面

加载更多

golang-字符串-地址分析

demo package mainimport "fmt"func main() {str := "map.baidu.com"fmt.Println(&str, str)str = str[0:5]fmt.Println(&str, str)str = "abc"fmt.Println(&s......

李琼涛
今天
4
0
Spring Boot WebFlux 增删改查完整实战 demo

03:WebFlux Web CRUD 实践 前言 上一篇基于功能性端点去创建一个简单服务,实现了 Hello 。这一篇用 Spring Boot WebFlux 的注解控制层技术创建一个 CRUD WebFlux 应用,让开发更方便。这里...

泥瓦匠BYSocket
今天
9
0
从0开始学FreeRTOS-(列表与列表项)-3

FreeRTOS列表&列表项的源码解读 第一次看列表与列表项的时候,感觉很像是链表,虽然我自己的链表也不太会,但是就是感觉很像。 在FreeRTOS中,列表与列表项使用得非常多,是FreeRTOS的一个数...

杰杰1号
今天
9
0
Java反射

Java 反射 反射是框架设计的灵魂(使用的前提条件:必须先得到代表的字节码的 Class,Class 类 用于表示.class 文件(字节码)) 一、反射的概述 定义:JAVA 反射机制是在运行状态中,对于任...

zzz1122334
今天
9
0
聊聊nacos的LocalConfigInfoProcessor

序 本文主要研究一下nacos的LocalConfigInfoProcessor LocalConfigInfoProcessor nacos-1.1.3/client/src/main/java/com/alibaba/nacos/client/config/impl/LocalConfigInfoProcessor.java p......

go4it
昨天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部