文档章节

python2.7 环境 爬虫第一次体验

fjwapp
 fjwapp
发布于 2017/04/27 16:42
字数 158
阅读 6
收藏 0
# -*- coding = utf-8

import urllib
import urllib2
import re

def getHtml(url):
    page = urllib.urlopen(url)
    html = page.read()
    return html

def cbk(a,b,c):
    per = 100.0 * a * b / c  #a已下载的数据块 b下载数据块的大小 c总数据块大小
    if per > 100:
        per = 100
    print('%.2f%%' %per) #取两位浮点小数

def getImg(html):
    reg = r'src="(.+?\.jpg)" pic_ext'  #非贪婪模式的无限匹配任意字符(除了/n)
    imgre = re.compile(reg)
    imglist = re.findall(imgre,html)
    x=0

    for imgurl in imglist:
        urllib.urlretrieve(imgurl, '%s.jpg' %x,cbk)
        x = x+1

    return imglist

html = getHtml("http://tieba.baidu.com/p/2460150866")

print(getImg(html))

 

运行结果很理想 显示下载进度

© 著作权归作者所有

fjwapp
粉丝 0
博文 20
码字总数 4405
作品 0
浦东
运维
私信 提问
CentOS6.8安装scrapy爬虫框架

背景 最近想搞一个个人项目,需要用到爬虫,所以接触了scrapy。 环境参数 OS环境 CentOS6.8 x86_64 OS默认python版本 python2.6 安装问题 在默认python版本环境(python2.6)下安装了pip,通...

Baron聊聊技术
2017/11/23
0
0
scrapy-1 安装scrapy

scrapy 2.2.0版本 环境 python2.7 可以使用pip install scrapy安装,建议在Ubuntu上安装。 Ubuntu 安装方法 sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7;......

jastme
2014/06/13
126
0
KVM 虚拟化管理平台--VManagePlatform

VManagePlatform 是什么? 一个KVM虚拟化管理平台 开发语言与框架: 编程语言:Python2.7 + HTML + JScripts 前端Web框架:Bootstrap 后端Web框架:Django 后端Task框架:Celery + Redis VM...

WelliamCao
2017/03/01
7.8K
4
Python多版本pip安装库的问题

引 机器上总是会有Python2.7的版本和Python3.x的版本,今天接触到一台服务器上面有Python2.7和Python3.4,想在Python3.4下安装一个TensorFlow,但不管怎么装都只能装到Python2.7上,特别头疼...

cloudox_
2017/11/23
0
0
KVM虚拟化管理平台VManagePlatform

VManagePlatform是什么? 一个KVM虚拟化管理平台 开发语言与框架: 编程语言:Python2.7 + HTML + JScripts 前端Web框架:Bootstrap 后端Web框架:Django 后端Task框架:Celery + Redis VMan...

welliamcao
2017/02/20
0
0

没有更多内容

加载失败,请刷新页面

加载更多

rime设置为默认简体

转载 https://github.com/ModerRAS/ModerRAS.github.io/blob/master/_posts/2018-11-07-rime%E8%AE%BE%E7%BD%AE%E4%B8%BA%E9%BB%98%E8%AE%A4%E7%AE%80%E4%BD%93.md 写在开始 我的Arch Linux上......

zhenruyan
今天
5
0
简述TCP的流量控制与拥塞控制

1. TCP流量控制 流量控制就是让发送方的发送速率不要太快,要让接收方来的及接收。 原理是通过确认报文中窗口字段来控制发送方的发送速率,发送方的发送窗口大小不能超过接收方给出窗口大小。...

鏡花水月
今天
10
0
OSChina 周日乱弹 —— 别问,问就是没空

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @tom_tdhzz :#今日歌曲推荐# 分享容祖儿/彭羚的单曲《心淡》: 《心淡》- 容祖儿/彭羚 手机党少年们想听歌,请使劲儿戳(这里) @wqp0010 :周...

小小编辑
今天
1K
11
golang微服务框架go-micro 入门笔记2.1 micro工具之micro api

micro api micro 功能非常强大,本文将详细阐述micro api 命令行的功能 重要的事情说3次 本文全部代码https://idea.techidea8.com/open/idea.shtml?id=6 本文全部代码https://idea.techidea8....

非正式解决方案
今天
5
0
Spring Context 你真的懂了吗

今天介绍一下大家常见的一个单词 context 应该怎么去理解,正确的理解它有助于我们学习 spring 以及计算机系统中的其他知识。 1. context 是什么 我们经常在编程中见到 context 这个单词,当...

Java知其所以然
昨天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部