文档章节

爬虫随便玩玩: CU shell 板块

Lin_R
 Lin_R
发布于 2017/02/25 13:30
字数 1595
阅读 525
收藏 21

前言

身为运维岗的小屌丝, 对于shell, 甚至文本三剑客, 总是不可分割的, 因为工作上, 特别是日志处理查找等, 更能体现出三剑客的强大功力. 虽然说教程网上都有, 但是缺乏练习总会让自己过眼就忘, 刚好Cu上的shell板块有很多练习, 所以写了个专门抓这些问题的爬虫, 来方便我们做练习. 事不宜迟, 简单讲解下分析步骤

准备工作

   为了达到练习效果, 咱们不用bs或者pyquery, 所以我们在内容整理方面用re库就够了

  • python2.x
  • requests库
  • re库

过程分解

CU shell板块链接: http://bbs.chinaunix.net/forum-24-1.html

打开链接如图所示, 可以看到红框选中的, 就是shell板块的问题, 咱们的任务就是要将这些帖子的内容, 要爬出来.

第一步: 定位问题帖子

要想找到准确定位这些帖子, 咱们要先找到这些帖子的html标签的共同点 以及和 别的便签的不同点, 右键查看源码, 随便搜索一个中文用来定位相应地方的源码:

如图所示, 我通过其中一个问题关键字: "grep -v l两个可否简化", 已经定位到相应地方的源码, 可以看到问题描述,链接都包含在一个<th></th>标签内, 那咱们直接过滤出每个th块就好了

第二步: 从问题帖子块提取有用信息

咱们已经确定了, 需要的内容在th块中, 那么一个块有什么信息是咱们关注的呢? 

从图可以看出, 一个短短的th块, 就已经包含了: 问题类型, 问题链接 和问题的标题了, 问题类型和问题标题将后期输出整理时会用到, 而问题链接是我们马上需要用到的, 因为我们需要从里面获取具体内容,获取的方法也是很简单 可以明显看到, 虽然地址在a标签的href属性中, 但是a标签却有2个, 所以如果单纯获取a标签, 那么将会有多余的结果, 所以这里先定位到 "]" 再来获取

base_content_pattern = re.compile(
      '\[<a[^>]+>(?#quesiton_type)([^<]+)[^"]+"(?#quesiton_url)([^"]+).*?>(?#quesiton_title)([^<]+)</a'
)
正则讲解:
(?#..)只是用来注释的, 并不会对匹配结果有干扰; 所以 (?#content)xxx 是表示 xxx是关于content的正则

关于问题类型的正则:
(?#quesiton_type)([^<]+): 用于捕获: >文本处理<a位置的 '文本处理'

关于问题链接的正则:
(?#quesiton_url)([^"]+): 用于捕获: <a href="thread-4259680-1-1.html 位置的 '非"内容,也就是链接地址'

关于问题标题的正则: 
(?#quesiton_title)([^<]+)</a: 用于捕获: >grep -v l两个可否简化</a> 位置的 'grep -v l两个可否简化'

经过上诉的处理, 我们已经从一个th块, 取出 问题类型, 问题链接 和问题的标题了, 那么我们将这些结果存到一个列表, 后期在根据这列表内容来做具体的问题内容获取和整理输出

第三步: 对具体的 问题链接 做具体内容的抓取

和第一步同样的做法, 查看页面源代码, 搜索问题关键字, 找到结果如下:

而且很幸运的可以看到, 所处的那块有个唯一的字符: JIATHIS_CODE_HTML4, 所以咱们可以通过这个位置, 来截获到下面的 </td>, 也就是:

content_pattern = re.compile('JIATHIS_CODE_HTML4">(.*?)</td', re.S)

其实到了这一步, 爬虫已经完成80%了, 接下来就是最最后的清洗整理

第四部步: 对 具体的问题内容 作数据整理

在我们匹配出问题内容时, 数据还是很粗糙, 因为有很多html标签, 例如<br>, &nbsp; 等等, 就好像上个步骤提取的内容:

u' \r\n<div class="t_fsz">\r\n<table cellspacing="0" cellpadding="0"><tr><td class="t_f" id="postmessage_24624780">\r\n\u73b0\u6025\u9700\u89e3\u51b3\u6b64\u95ee\u9898\uff1a<br />\r\n2\u4e2a\u6587\u4ef6\uff1a<br />\r\n1.txt&nbsp;&nbsp;5\u5217 1.5G<br />\r\n2.txt&nbsp;&nbsp;12\u5217 2.6G<br />\r\n awk \'NR==FNR{a[$1&quot; &quot;$2&quot; &quot;$3]=$4&quot; &quot;$5}NR&gt;FNR{if(a[$3&quot; &quot;$6&quot; &quot;$10]!=&quot;&quot;&amp;&amp;a[$3&quot; &quot;$6&quot; &quot;$10]!=&quot; &quot;)print $1,$2,$3,a[$3&quot; &quot;$6&quot; &quot;$10]}\' 1.txt 2.txt<br />\r\n\u8fd0\u884c\u540e\u62a5\u9519\uff1athere is not enough availiable memory<br />\r\n\u8bf7\u95ee\u8be5\u5982\u4f55\u89e3\u51b3\uff1f'

可以看到有很多&nbsp,&quot;等等, 所以我们需要该转换的转换, 该去掉的去掉,咱们构建一个转换字典

self.html_flag_converation = {
            '&nbsp;': ' ',
            '<br />':  '\n',
            '&quot': '"',
            '&lt;': '<',
            '&gt;': '>'
        }

意思很明确, 就是将对应的html标签转换成它在页面表示的符号

除了页面的html, 有些提问者可能会无意中多敲了好多回车, 导致咱们过滤的结果也是有好多换行, 但咱们并不需要那么多行, 所以统一换成一个

content_result = re.sub(r'<.*?>|\r\n|\r', '', content_result)
content_result = re.sub(r'\n+', '\n', content_result)

经过上面的处理, 文本已经算是可以了~ 我们再把之前获取的 问题类型 问题标题 加上去, 就是一个完整的问题了

在输出方面, 咱们有个点需要考虑, 就是保存到文件, 有时候咱们需要马上来一发练习题, 联系完就算了;但是有时候, 有些勤奋的同学, 想要通过计划任务去定时抓, 然后保存;

所以为了兼容这两个, 用一个比较简单的方法实现:

class Spider:
    """
    China Unix Bss spider
    """
    def __init__(self, output=None):
        ...
        if output:
            self.result_output = open(output, 'w')
        else:
            self.result_output = sys.stdout


if __name__ == '__main__':
    file_name = None
    if len(sys.argv) == 2:
        file_name = sys.argv[1]

    spider = Spider(output=file_name)
    spider.start()
[root@iZ23pynfq19Z ~]# python spider_cu.py          # 直接输出到屏幕
[root@iZ23pynfq19Z ~]# python spider_cu.py   file   # 直接输出到文件, 屏幕只是打印写入的问题id

好了, 通过上面的输出方式, 再通过如下将问题标题, 问题类型等等整合到一起, 爬虫就完成了:

self.result_output.write('-' * 30 + '\n')
self.result_output.write('Question_title: %s\nQuestion_type: %s\nQuestion_url: %s\n' % (
    content_title.encode('utf8'),
    content_type.encode('utf8'),
    content_url.encode('utf8')
))
self.result_output.write('Question_content:\n%s' % content_result.encode('utf8'))

结果展示

爬虫源码地址

https://git.oschina.net/Lin_R/Simple_Spider/blob/master/spider_cu.py?dir=0&filepath=spider_cu.py&oid=012937ecb3c133fc5d96113f45cc68ee402a88ea&sha=7db09f0ab5fd935167df9dfb948729867c10f9fe

欢迎各位大神指点, 转载请注明: https://my.oschina.net/LinBigR/blog/846211

© 著作权归作者所有

共有 人打赏支持
Lin_R
粉丝 41
博文 18
码字总数 20310
作品 0
广州
程序员
Python爬取美团美食板块商家数据

本文转载至知乎ID:Charles(白露未晞)知乎个人专栏 导语 利用Python简单爬取美团美食板块商家数据。。。 其实一开始我是想把美团的所有商家信息爬下来的,这样就可以美其名曰百万数据了。。...

W3Cschool小编
07/24
0
0
Python爬虫,抓取淘宝商品评论内容

作为一个资深吃货,网购各种零食是很频繁的,但是能否在浩瀚的商品库中找到合适的东西,就只能参考评论了!今天给大家分享用python做个抓取淘宝商品评论的小爬虫! 思路 我们就拿“德州扒鸡”...

python玩家
06/24
0
0
Exchange 2016 CU7全新部署Ecp打开出现空白界面

问题介绍: 最近无聊中在网上看到了MVP大神说Exchange 2016出CU7了,但是在微软版本介绍那个界面竟然没有,郁闷啊,然后就找了下,竟然真出CU7了,于是就搭建了一套Exchange 2016 CU7的环境玩...

Juck_Zhang
2017/11/26
0
0
看我如何利用Python写简单网络爬虫

平时没事喜欢看看freebuf的文章,今天在看文章的时候,无线网总是时断时续,于是自己心血来潮就动手写了这个网络爬虫,将页面保存下来方便查看 先分析网站内容,红色部分即是网站文章内容div...

黑武士
2015/02/11
46.4K
18
实战(一)之使用自带urllib和re正则表达式获取电影详情页链接

一、关于urllib库 网上urllib库的教程文章非常多而且详细具体,我就不过多叙述和重复了,个人更加倾向于将精力放在实战上,而不是反反复复拷贝教程(其实是因为我懒),来几篇干货参考。 py...

鱼头豆腐文
2017/12/04
0
0

没有更多内容

加载失败,请刷新页面

加载更多

20180920 rzsz传输文件、用户和用户组相关配置文件与管理

利用rz、sz实现Linux与Windows互传文件 [root@centos01 ~]# yum install -y lrzsz # 安装工具sz test.txt # 弹出对话框,传递到选择的路径下rz # 回车后,会从对话框中选择对应的文件传递...

野雪球
今天
0
0
OSChina 周四乱弹 —— 毒蛇当辣条

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @ 达尔文:分享花澤香菜/前野智昭/小野大輔/井上喜久子的单曲《ミッション! 健?康?第?イチ》 《ミッション! 健?康?第?イチ》- 花澤香菜/前野智...

小小编辑
今天
6
2
java -jar运行内存设置

java -Xms64m #JVM启动时的初始堆大小 -Xmx128m #最大堆大小 -Xmn64m #年轻代的大小,其余的空间是老年代 -XX:MaxMetaspaceSize=128m # -XX:CompressedClassSpaceSize=6...

李玉长
今天
1
0
Spring | 手把手教你SSM最优雅的整合方式

HEY 本节主要内容为:基于Spring从0到1搭建一个web工程,适合初学者,Java初级开发者。欢迎与我交流。 MODULE 新建一个Maven工程。 不论你是什么工具,选这个就可以了,然后next,直至finis...

冯文议
今天
1
0
RxJS的另外四种实现方式(四)——性能最高的库(续)

接上一篇RxJS的另外四种实现方式(三)——性能最高的库 上一篇文章我展示了这个最高性能库的实现方法。下面我介绍一下这个性能提升的秘密。 首先,为了弄清楚Most库究竟为何如此快,我必须借...

一个灰
今天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部