文档章节

python3爬虫爬取网页图片简单示例

IT民工_柒晓白
 IT民工_柒晓白
发布于 2017/10/19 21:43
字数 873
阅读 304
收藏 3

   本人也是刚刚开始学习python的爬虫技术,然后本来想在网上找点教程来看看,谁知道一搜索,大部分的都是用python2来写的,新手嘛,一般都喜欢装新版本。于是我也就写一个python3简单的爬虫,爬虫一下贴吧的图片吧。话不多说,我们开始。

首先简单来说说一下知识。

一、什么是爬虫?

网页上面采集数据

二、学习爬虫有什么作用?

做案例分析,做数据分析,分析网页结构.......

三、爬虫环境

需求:python3x  pycharm

模块:urllib 、urllib2、bs4、re

四、爬虫思路:

1.      打开网页,获取源码。

*由于多人同时爬虫某个网站时候,会造成数据冗余,网站崩溃,所以一些网站是禁止爬虫的,会返回403拒绝访问的错误信息。----获取不到想要的内容/请求失败/IP容易被封……..等

*解决办法:伪装——不告诉网站我是一个脚本,告诉它我是一个浏览器。(加上随便一个浏览器的头部信息,伪装成浏览器),由于是简单例子,那我们就不搞这些骚操作了。

2.     获取图片

*Find函数 :只去找第一个目标,查询一次

*Find_all函数: 找到所有的相同的目标。

这里可能有一个解析器的问题,我们也不说了,出问题的同学百度一堆解决办法。

3.      保存图片地址与下载图片

*a.使用urlib---urlretrieve下载(保存位置:如果保存在跟*.py文件同一个地方,那么只需要文件夹名称即可,如果是其他地方,那么得写绝对路径。)

算了,不说那么多废话,既然是个简单例子,那我就直接贴代码吧。相信也没多少人呢看不懂。

提一句:用BeautifulSoup 就可以不用正则;爬虫用正则,Bs4, xpath三种 选择一个就好。当然也可以混合使用,也还有其他种。

爬取地址:http://tieba.baidu.com/p/3840085725

代码如下:

import urllib.request
import re
import os
import urllib

#根据给定的网址来获取网页详细信息,得到的html就是网页的源代码
def getHtml(url):
    page = urllib.request.urlopen(url)
    html = page.read()
    return html.decode('UTF-8')

def getImg(html):
    reg = r'src="(.+?\.jpg)" pic_ext'
    imgre = re.compile(reg)                              #转换成一个正则对象
    imglist = imgre.findall(html)                        #表示在整个网页中过滤出所有图片的地址,放在imglist中

    x = 0                                                #声明一个变量赋值
    path = 'H:\\python lianxi\\zout_pc5\\test'           #设置保存地址


    if not os.path.isdir(path):
        os.makedirs(path)                           # 将图片保存到H:..\\test文件夹中,如果没有test文件夹则创建
    paths = path+'\\'                               #保存在test路径下

    for imgurl in imglist:

        urllib.request.urlretrieve(imgurl,'{0}{1}.jpg'.format(paths,x)) #打开imglist,下载图片保存在本地,
                                                                        #format格式化字符串
        x = x + 1
        print('图片已开始下载,注意查看文件夹')
    return imglist

html = getHtml("http://tieba.baidu.com/p/3840085725")         #获取该网址网页详细信息,html就是网页的源代码
print (getImg(html))                                          #从网页源代码中分析并下载保存图片

 

最后效果如图:

好了,教程到这里就结束了,更多精彩,敬请关注:IT民工_柒晓白

(ps:对于python本人也是新手,文章有任何错误请多多包涵)

 

© 著作权归作者所有

共有 人打赏支持
IT民工_柒晓白
粉丝 0
博文 2
码字总数 904
作品 0
贵阳
加载中

评论(1)

IT民工_柒晓白
IT民工_柒晓白
CSDN博客同步更新。
5个python爬虫教材,让小白也有爬虫可写,含视频教程!

认识爬虫   网络爬虫,如果互联网是一张蜘蛛网,网络爬虫既是一个在此网上爬行的蜘蛛,爬了多少路程即获取到多少数据。 python写爬虫的优势   其实以上功能很多语言和工具都能做,但是用...

柯西带你学编程
06/12
0
0
这是我最想推荐给程序员们看的基于Python3.4实现的爬虫书

互联网包含了迄今为止最有用的数据集,并且大部分可以免费公开访问。但是,这些数据难以复用。它们被嵌入在网站的结构和样式当中,需要抽取出来才能使用。从网页中抽取数据的过程又称为网络爬...

异步社区
07/11
0
0
Python爬虫如何快速上手,并达到爬取大规模数据的水平

互联网的数据爆炸式的增长,而利用 Python 爬虫我们可以获取大量有价值的数据: 1.爬取数据,进行市场调研和商业分析 爬取知乎优质答案,筛选各话题下最优质的内容; 抓取房产网站买卖信息,...

技术小能手
06/28
0
0
Python异步加载爬虫,护士私密照源源不断,Ajax抓取速度惊人!

利用aiohttp这个库来进行异步协程提速! 如果Python爬虫不仅在代码编写上展现速度,而且在爬取过程中表现出优越感,最好的就是去下载图片吧,而下载图片最好的代表当然是......我就不多说了。...

Python新世界
07/17
0
0
手把手教你写网络爬虫(2):迷你爬虫架构

原文出处:拓海 介绍 大家好!回顾上一期,我们在介绍了爬虫的基本概念之后,就利用各种工具横冲直撞的完成了一个小爬虫,目的就是猛、糙、快,方便初学者上手,建立信心。对于有一定基础的读...

拓海
04/27
0
0

没有更多内容

加载失败,请刷新页面

加载更多

祝大家节日快乐,阖家幸福! centos GnuTLS 漏洞

yum update -y gnutls 修复了GnuTLS 漏洞。更新到最新 gnutls.x86_64 0:2.12.23-22.el6 版本

yizhichao
昨天
0
0
Redis数据过期策略详解

一、设置过期时间   Redis对存储值的过期处理实际上是针对该值的键(key)处理的,即时间的设置也是设置key的有效时间。Expires字典保存了所有键的过期时间,Expires也被称为过期字段。 ex...

IT--小哥
昨天
0
0
Scrapy 1.5.0之选择器

构造选择器 Scrapy选择器是通过文本(Text)或 TextResponse 对象构造的 Selector 类的实例。 它根据输入类型自动选择最佳的解析规则(XML vs HTML): >>> from scrapy.selector import Sele...

Eappo_Geng
昨天
0
0
Windows下Git多账号配置,同一电脑多个ssh-key的管理

Windows下Git多账号配置,同一电脑多个ssh-key的管理   这一篇文章是对上一篇文章《Git-TortoiseGit完整配置流程》的拓展,所以需要对上一篇文章有所了解,当然直接往下看也可以,其中也有...

morpheusWB
昨天
0
0
中秋快乐!!!

HiBlock
昨天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部