文档章节

Python入门简单的静态网页爬虫3.0 (爬虫的示例代码)

御前带刀红衬衫
 御前带刀红衬衫
发布于 2016/05/01 19:35
字数 1124
阅读 962
收藏 16

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>>

一、需求分析

    爬取百度词条Python页面的相关100个页面,分析目标:分析(url格式 数据格式 网页编码 )。url格式限定了爬取的网页格式避免一些不相干的网页的爬取。数据格式主要是内容中相关的标签,网页编码则是为了正确解析网页。

    参考视频中的内容简介如下:入口URL在我们打开的Python词条的地址栏中可以得到,为: http://baike.baidu.com/view/21087.html数据格式则是在页面上右键审查元素后选择edit as

HTML可以看到。网页编码在选择审查元素后上拉找到head标签下的<meta charset="UTF-8">可得为万国码。

 

二、示例代码

2.1 调度程序

         在eclipse中创建一个package然后创建对应的module。在前两篇文章中提到的

  • spider_main

  • html_parser

  • html_downloader,

  • url_manager

  • html_outputer

    如图:

2.2 spider_main代码编写:

    

 if __name__ == '__main__':
    
    root_url = #将此作为入口URL
    
    obj_spider = SpiderMain()
    
    obj_spider.craw(root_url)#调用spider里的craw方法来开始爬虫

总调度程序的编写

 class SpiderMain(object):
    def __init__(self): #初始化构造函数
        self.urls = url_manager.UrlManager()
        self.downloader = html_downloader.HtmlDownloader()
        self.parser = html_parser.HtmlParser()
        self.output = html_outputer.HtmlOutputer()#初始化各个对象
        
        编写完成后还要记得将各个对象和方法在各个模块中初始化
 def craw(self, root_urls):
        count = 1 #记录当前爬取的URL个数
        self.urls.add_new_url(root_urls)
        while self.urls.has_new_url():
            try:
                new_url = self.urls.get_new_url()
                print('craw %d:%s' %(count, new_url))
                html_cout = self.downloader.downloader(new_url)
                new_urls, new_data = self.parser.parse(new_url, html_cout)
                self.urls.add_new_urls(new_urls)
                self.output.collect_data(new_data)
                if count == 100:
                    break
                count += 1
            except Exception as e:
                print('craw fails--', e)#这里一个小小的改写能将爬取遇到的问题能及时打印出来
        self.output.output()
        也要及时在对应模块中创建相应的方法

2.3URL管理器模块代码的编写

        首先再想一想该模块要提供的方法:

  • 添加一个新的未爬取的URL

  • 添加新的未爬取一系列URL

  • 判断管理器中是否有待爬取的URL

  • 从管理器中获取一个新的URL

     之前提到过要在该模块中初始化两个列表来保存已经爬取过的URL和待爬取的URL

     

  •  def __init__(self):
            self.new_urls = set()#新的URL列表
            self.old_urls = set()#已经爬取过的URL列表

          添加新的URL:

 def add_new_url(self, url):
        if url is None:
            return
        if url not in self.new_urls and url not in self.old_urls:#参数判断
            self.new_urls.add(url)

           批量添加的方法类似:

 def add_new_urls(self, urls):
        if urls is None or len(urls) == 0:
            return
        for url in urls:
            self.add_new_url(url)

         判断是否有待爬取的URL:

 def has_new_url(self):
        return len(self.new_urls) != 0

         从管理器获取URL并删除后添加到已爬取列表

 def get_new_url(self):
        new_url = self.new_urls.pop()
        self.old_urls.add(new_url)
        return new_url

2.4 html_downloader 相关代码的编写

  html_downloader只需要对外提供一个downloader方法,参照上面的代码可得:

 def downloader(self, url):
        if url is None:
            return None #参数判断
        response = urllib.request.urlopen(url)
        if response.getcode() != 200:
            return None
        return response.read()

2.5 html_parser相关代码的编写

    主要实现包括新的URL的解析和内容的解析:

 def _get_new_urls(self, page_url, soup):
        new_urls = set()
        # 词条url
        links = soup.find_all("a", href=re.compile(r"/view/\d+\.htm"))#模糊正则匹配
        for link in links:
            new_url = link['href']
            new_full_url = urllib.parse.urljoin(page_url, new_url)
            new_urls.add(new_full_url)
        return new_urls
        
    def _get_new_data(self, page_url, soup):
        res_data = {}
        # url
        res_data['url'] = page_url
        # <dd class="lemmaWgt-lemmaTitle-title">
        title_node = soup.find('dd', class_ = "lemmaWgt-lemmaTitle-title").find("h1")
        res_data['title'] = title_node.get_text()
        # <div class="lemma-summary" label-module="lemmaSummary">
        summary_node = soup.find("div", class_="lemma-summary")
        res_data['summary'] = summary_node.get_text()
        return res_data
        
    def parse(self, page_url, html_cout):
        if page_url is None or html_cout is None: #参数判断
            return
        soup = BeautifulSoup(html_cout, 'html.parser', from_encoding='utf-8')
        new_data = self._get_new_data(page_url, soup)
        new_urls = self._get_new_urls(page_url, soup)
        return new_urls, new_data

2.6 html_outputer相关代码的编写

    这里要提供两个方法,收集数据和输出数据。

  def output(self):
        fout = open('output.html', 'w')
        fout.write("<html>")
        fout.write("<body")
        fout.write("<table")
        for data in self.datas:
            fout.write("<tr>")
            fout.write("<td>%s</td>" % data['url'])
            fout.write("<td>%s</td>" % data['title'].encode('utf-8'))
            fout.write("<td>%s</td>" % data['summary'].encode('utf-8'))
            fout.write("</tr>")
        fout.write("</table>")
        fout.write("</body>")
        fout.write("</html>")
        fout.close()
    def collect_data(self, data):
        if data is None:
            return
        self.datas.append(data)

2.7 运行爬虫

    在这里就回到总调度程序选择run就可以运行我们简单的爬虫了。

    至此爬虫就顺利完成了,现在在考虑如何将爬取的文件写入文本文件中,各位大神还望赐教哦,看到这各位看官都是好样的,有问题欢迎交流,知乎ID御前带刀攻城狮https://www.zhihu.com/people/dou-wo-45,转载请联系本人,保留一切权利,谢谢。

© 著作权归作者所有

御前带刀红衬衫
粉丝 22
博文 15
码字总数 13374
作品 0
桂林
程序员
私信 提问
加载中

评论(1)

x
xiatiandefeng
写的好赞,学习了 79
推荐一个免费好用的云端爬虫开发平台
不需要安装环境,云上运行爬虫
http://www.shenjianshou.cn/
Python爬虫|Python爬虫入门(四):储存 - 知乎

系列专栏目录: 第一讲:Python爬虫|Python爬虫入门(一):爬虫基本结构&简单实例 第二讲:Python爬虫|Python爬虫入门(二):请求 第三讲:Python爬虫|Python爬虫入门(三):解析 第四讲:...

China's Prices Project (量潮科技)
10/21
0
0
在知乎上学Python爬虫 - 知乎

有很多人正在入门Python爬虫,学习Python爬虫。在这个过程中,会遇到很多难题,许多小伙伴都会去寻找答案,但是因为答案的纷繁复杂和种类多样,往往要花上好些时间。 而码不理经常会在知乎上...

编程实验室
10/21
0
0
福利 | Python专场竞技,这些书给你加把力!

端午节将至,各地龙舟备战竞技,粽子部队也整装待发。小编掐指一算,这种热闹的时节,是时候展现真正的技(fu)术(li)了! (“Python号”龙舟闪亮登场!) Python作为当下最流行的编程语言...

2018/06/15
0
0
Python爬虫与文本挖掘核心技术、会议研修通知

Python作为一门脚本语言,它灵活、易用、易学、适用场景多,实现程序快捷便利,早已经成为程序员们的一门编程利器。Python这门编程语言包罗万象,可以说掌握了python,除了一些特殊环境和高度...

python深度学习
07/29
7
0
5个python爬虫教材,让小白也有爬虫可写,含视频教程!

认识爬虫   网络爬虫,如果互联网是一张蜘蛛网,网络爬虫既是一个在此网上爬行的蜘蛛,爬了多少路程即获取到多少数据。 python写爬虫的优势   其实以上功能很多语言和工具都能做,但是用...

柯西带你学编程
2018/06/12
0
0

没有更多内容

加载失败,请刷新页面

加载更多

在C语言中“静态”是什么意思?

我已经在C代码的不同地方看到了static一词。 这就像C#中的静态函数/类(实现在对象之间共享)吗? #1楼 多文件变量作用域示例 在这里,我说明了静态如何影响多个文件中函数定义的范围。 交流...

javail
2分钟前
2
0
利用 FC + OSS 快速搭建 Serverless 实时按需图像处理服务

作者:泽尘 简介 随着具有不同屏幕尺寸和分辨率设备的爆炸式增长,开发人员经常需要提供各种尺寸的图像,从而确保良好的用户体验。目前比较常见的做法是预先为一份图像存放多份具有不同尺寸的...

阿里巴巴云原生
5分钟前
1
0
前端架构最佳实践

Folders-by-Feature Structure 胜过 Folders-by-Type Structure

lilugirl
15分钟前
3
0
Seata AT 模式启动源码分析

从上一篇文章「分布式事务中间件Seata的设计原理」讲了下 Seata AT 模式的一些设计原理,从中也知道了 AT 模式的三个角色(RM、TM、TC),接下来我会更新 Seata 源码分析系列文章。今天就来分...

后端进阶
17分钟前
3
0
Python中“自我”一词的目的是什么?

Python中self词的目的是什么? 我知道它是指从该类创建的特定对象,但是我看不到为什么要将它显式地作为参数添加到每个函数中。 为了说明这一点,在Ruby中,我可以这样做: class myClass ...

技术盛宴
18分钟前
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部