文档章节

python爬虫爬取NBA贴吧的所有精品贴

zhaobig
 zhaobig
发布于 2017/09/11 20:35
字数 1591
阅读 9
收藏 0
首先用直接的方法写,先尝试下能否爬取成功 #coding:utf-8 import urllib2,urllib
import re
''' 1.准备url地址 2.准备请求头 3.创建请求对象 4.发起请求获取第一页源代码,接收响应 5.通过第一页源代码,找到总页数和标题 6.for循环执行总页数次  6.1 根据页码拼接完整的URL地址  6.2 创建request对象,发起请求,接受响应  6.3 根据正则匹配数据,包含用户名和帖子内容  6.4 去除、替换数据中的html标签  6.5 写入本地文件 ''' ide = raw_input('请输入要爬取的帖子的编号:')
#1准备url地址 url = 'https://tieba.baidu.com/p/'+ide
#2准备请求头 headers = {
    'User-Agent':'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50' }
#3创建请求对象 request = urllib2.Request(url,headers=headers)
#4发起请求获取第一页源代码,接受响应 response = urllib2.urlopen(request)
# 5.通过第一页源代码,找到总页数和标题 #5.1准备正则 pattern = re.compile(r'<li class="l_reply_num.*?<span.*?<span class="red">(.*?)</span>',re.S)
#5.2查找对应正则的数据 html = response.read()
rs = re.search(pattern,html)
#5.3把字符串页数转换为数字 total = int(rs.group(1))
# 5.4 正则匹配标题 tit_pattern = re.compile(r'<h\d class="core_title_txt.*?>(.*?)</h\d>',re.S)
#5.5从源代码中搜索标题 rs = re.search(tit_pattern,html)
print rs.group(1)
title = rs.group(1)
#拼接文件名 #decode()解码,网页中的字符是utf-8编码,在python中使用的字符串都是Unicode编码,所以需要转换 filename = "%s.txt"%title.decode('utf-8')
#打开文件 file = open(filename,'w')
print '正在爬取%s,共%s页数据'%(title,total)
#6.for循环执行总页数次 for x in range(1,total+1):
    print '正在爬取第%s页数据'%x
    # 6.1根据页码拼接完整的URL地址  getUrl = url+'?pn=%s'%x
    # 6.2创建request对象,发起请求,接受响应  request = urllib2.Request(getUrl,headers=headers)
    response = urllib2.urlopen(request)
    html = response.read()
    # 6.3根据正则匹配数据,包含用户名和帖子内容  con_pattern = re.compile(r'<ul class="p_author.*?<li class="d_name.*?<a.*?>(.*?)</a>.*?<div id="post_content_.*?>(.*?)</div>',re.S)
    rs = re.findall(con_pattern,html)
    # 6.4去除、替换数据中的html标签  #1.用户名中的img标签  #2.去除帖子内容中的img标签  #3.去掉帖子内容部分的空格  #4.替换帖子中的内容部分  for r in rs:
        remove_img = re.compile(r'<img.*?>',re.S)
        remove_k = re.compile(r' {10}',re.S)
        replace_br = re.compile(r'<br>|<br/>',re.S)
        remove_ele = re.compile(r'<.*?>',re.S)
        #1 去除name中的img  name = re.sub(remove_img,'',r[0])
        #2 去除内容中的img  content = re.sub(remove_img,'',r[1])
        # 3 去除内容中的空格  content = re.sub(remove_k,'',content)
        # 4 替换内容的br  content = re.sub(replace_br,r'\n',content)
        # 5 去除所有标html签  content = re.sub(remove_ele,'',content)
    # 6.5写入本地文件  file.write('---------------------------------------------------------')
        file.write('\n')
        file.write(name)
        file.write('\n')
        file.write(content)
file.close()
print '数据爬取完成!' **************************************************************************************** #执行程序,能够爬取成功,再进一步升级,用类和对象的方法来写,作进一步的尝试,先通过输入编号,爬取一个帖子的内容 
****************************************************************************************
#coding:utf-8
import urllib2
import re
#工具类
class Tools(object):
    #1.正则
    remove_img = re.compile(r'<img.*?>',re.S)
    remove_k = re.compile(r' {10}')
    replace_br = re.compile(r'<br>|<br/>')
    remove_ele = re.compile(r'<.*?>',re.S)
    #替换文本的函数
    def replace_txt(self,rs):
        name = re.sub(self.remove_img,'',rs[0])
        content = re.sub(self.remove_img,'',rs[1])
        content = re.sub(self.remove_k,'',content)
        content = re.sub(self.replace_br,r'\n',content)
        content = re.sub(self.remove_ele,r'',content)
        #返回替换完成的元组
        return (name,content)
#百度贴吧爬虫类
class BDTB(object):
    def __init__(self,numbers):
        #根据帖子编号拼接url地址
        self.url = 'https://tieba.baidu.com/p/'+numbers
        self.headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0'
        }
        #初始化工具类对象
        self.tool = Tools()
    #获取某一页的html源代码
    def get_page(self,pageNum):
        #根据页码拼接完整的url地址
        getUrl = self.url+"?"+"pn=%s"%pageNum
        #创建request对象
        request = urllib2.Request(getUrl,headers=self.headers)
        try:
            #发起请求接收响应
            response = urllib2.urlopen(request)
        except(urllib2.HTTPError,Exception),e:
            print '获取第%s页数据失败,原因%s'%(pageNum,e)
            return None
        else:
            #如果没有异常,返回html源代码
            return response.read()
    #从第一页中提取总页数和标题
    def get_title_total(self,html):
        #1.准备正则
        tit_pattern = re.compile(r'<h\d class="core_title_txt.*?>(.*?)</h\d>',re.S)
        # 2.查找
        tit_rs = re.search(tit_pattern,html)
        # 3 .记录标题
        self.title = tit_rs.group(1)
        #1 查找总页数正则
        total_pattern = re.compile(r'<li class="l_reply_num.*?<span.*?<span class="red">(.*?)</span>',re.S)
        # 2 查找
        total_rs = re.search(total_pattern,html)
        # 3 记录总页数
        self.total = int(total_rs.group(1))
    #从html源代码中提取数据
    def get_data(self,html):
        # 1 准备正则
        pattern = re.compile(r'<ul class="p_author.*?<li class="d_name.*?<a.*?>(.*?)</a>.*?<div id="post_content_.*?>(.*?)</div>',re.S)
        # 2 查找
        results = re.findall(pattern,html)
        ok_results = []
        for rs in results:
            #替换数据中的html标签
            ok_rs = self.tool.replace_txt(rs)
            ok_results.append(ok_rs)
        #返回替换完成后的结果列表
        return ok_results
    # 写入本地文件
    def write_data(self,results):
        for rs in results:
            self.file.write('------------------------------------')
            self.file.write(rs[0])
            self.file.write('\n')
            self.file.write(rs[1])
            self.file.write('\n')
    #开始爬虫函数
    def start(self):
        #1.获取第一页的HTML源代码
        html = self.get_page(1)
        if html == None:
            print '连接百度失败,请稍后重试、、、、、'
            return
        #2.从第一页源代码中获取总页数和标题
        self.get_title_total(html)
        print '正在爬取帖子:%s,共%s页数据。。。'%(self.title,self.total)
        #3.打开文件,用属性记录这个文件对象,方便后面使用
        filename = '%s.txt'%self.title.decode('utf-8')
        self.file = open(filename,'w')
        #for循环 循环总页数次
        for x in range(1,self.total+1):
            print '正在爬取第%s页:'%x
            #1 根据页码获取该页的HTML源代码
            html = self.get_page(x)
            if html == None:
                continue
            #2 从html源代码中提取数据
            results = self.get_data(html)
            #3 写入本地文件
            self.write_data(results)
        #3 .关闭文件
        self.file.close()
if __name__ =='__main__':
    numbers = raw_input('请输入要爬取的帖子编号:')
    bdtb = BDTB(numbers)
    bdtb.start()
*****************************************************************************************
#再进一步升级爬取所有精品贴内容
*****************************************************************************************
#coding:utf-8
import urllib2
import re
from tieba_class import  BDTB
import time
#爬取精品贴页面所有的帖子编码
class JPT(object):
    def __init__(self):
        self.url = 'https://tieba.baidu.com/f/good?kw=nba&tab=good'
        self.headers = {
            'User-Agent': 'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50'
        }
    #获取精品贴的HTMl源代码
    def get_page(self):
        # 创建对象发起请求
        request = urllib2.Request(self.url, headers=self.headers)
        try:
            response = urllib2.urlopen(request)
        except(urllib2.URLError, Exception), e:
            print '获取精品贴失败,%s' % e
        else:
            return response.read()
    def get_data(self,html):
        #1.准备正则
        pattern = re.compile(r'<div class="threadlist_title.*?href="/p/(.*?)"',re.S)
        results = re.findall(pattern,html)
        return results
    def start(self):
        #1.获取精品贴的HTML源代码
        html = self.get_page()
        #2.从精品贴源代码中提取帖子编号
        results = self.get_data(html)
        #for 循环遍历帖子编号,爬取内容
        #创建BDTB对象,传入帖子编号
        for numbers in results:
            bdtb = BDTB(numbers)
            bdtb.start()
            time.sleep(2)
if __name__ == '__main__':
    jpt = JPT()
    jpt.start()

© 著作权归作者所有

共有 人打赏支持
zhaobig
粉丝 0
博文 5
码字总数 5529
作品 0
省直辖县级行政区划
2个月精通Python爬虫——3大爬虫框架+6场实战+分布式爬虫,包教包会

阿里云大学在线工作坊上线,原理精讲+实操演练,让你真正掌握云计算、大数据技能。 在第一批上线的课程中,有一个Python爬虫的课程,畅销书《精通Python网络爬虫》作者韦玮,带你两个月从入门...

云木西
06/27
0
0
python3爬虫爬取网页图片简单示例

本人也是刚刚开始学习python的爬虫技术,然后本来想在网上找点教程来看看,谁知道一搜索,大部分的都是用python2来写的,新手嘛,一般都喜欢装新版本。于是我也就写一个python3简单的爬虫,爬...

IT民工_柒晓白
2017/10/19
0
1
Python实用教学:如何用Python玩转各大网站

Hi~,各位小伙伴,Python是目前编程语言中的主流语言之一,也是公认最容易入门的编程语言,因为Python语言近几年的火爆,有很多小伙伴都开始学习这门语言。 编程语言学习,最重要的是“多看代...

W3Cschool小编
07/31
0
0
5个python爬虫教材,让小白也有爬虫可写,含视频教程!

认识爬虫   网络爬虫,如果互联网是一张蜘蛛网,网络爬虫既是一个在此网上爬行的蜘蛛,爬了多少路程即获取到多少数据。 python写爬虫的优势   其实以上功能很多语言和工具都能做,但是用...

柯西带你学编程
06/12
0
0
python爬虫实战,干翻一个网站,爬取资源链接并用多线程下载!

其实说是这样说,不过我觉得如果不是有什么特殊用处就不要去下载了,毕竟一个视频就占那么大的内存,爬好链接地址就可以了。当然如果你是要爬那种网站,那么下载一点点备用我也能够理解。 需...

Python新世界
07/30
0
0

没有更多内容

加载失败,请刷新页面

加载更多

hive数据导入导出

- 导入主要方式 load从本地加载 load从hdfs中加载 insert into方式加载 location指定源数据路径 like指定、克隆 ctas语句指定(create table tableName as ...) 手动将数据copy到表目录 5、 ...

Mr_yul
7分钟前
0
0
基于基线版本新建分支,并合并之前未合并到基线版本的分支

`合并feature2到feature5继续开发 git checkout -b feature2 origin/feature2 git pull git checkout -b baseline origin/baseline git pull git checkout -b feature5 git merge feature2 ......

philonic
14分钟前
0
0
统一认证服务CAS 5安装

简要介绍统一认证服务(CAS,Central Authentication Service,注:常称为单点登录系统)5.2.X的安装及配置。 CAS环境:Centos7.5+Tomcat8.5+jdk-8u181。后台用户管理采用openldap,其安装请...

阿笨哥
14分钟前
0
0
多线程糗事百科案例

爬取糗事百科段子,假设页面的URL是:http://www.qiushibaike.com/8hr/page/1 要求 1.使用requests获取页面信息,用XPath / re 做数据提取 2.获取每个帖子里的用户头像链接、用户姓名、段子内...

代码打碟手
17分钟前
0
0
09-《深度拆解JVM》JVM是怎么实现invokedynamic的?(上)

一、问题引入 前不久,“虚拟机”赛马俱乐部来了个年轻人,标榜自己是动态语言,是先进分子。 这一天,先进分子牵着一头鹿进来,说要参加赛马。咱部里的老学究 Java 就不同意了呀,鹿又不是马...

飞鱼说编程
23分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部