python 爬虫面试整理

原创
2019/07/10 14:47
阅读数 12

怎么解决js加密?

利用selenium+phantomjs模拟人工操作。
利用pyexecjs直接执行js文件

实时爬取:

crontab
设置周期性执行的指令
该命令从标准输入设备读取指令,并将其存放在“Crontab”文件中,
以供后期读取和执行。Crontab所存的指令,被守护进程激活。
crond常常在后台运行,以一分钟为间隔检查是否有预定的作业需要执行,这类作业一般成为cron jobs。

scrapy-redis 的工作流程

master端通过redis进行网址的去重,进行任务的调度,slave端争夺任务开始爬取,并将爬取的数据交回master端。

第一:爬虫指定好redis_key,启动,等待起始url。
第二:运行脚本,往redis_key中填充start_urls
第三:爬虫发现redis_key中有了start_urls,开始取出这些url
第四:爬虫按照默认参数,将这些url打包生成requests
第五:将这些requests送往scheduler调度模块,进入等待队列,等待调度。
第六:scheduler模块开始调度这些requests,出队,发往爬虫引擎。
第七:爬虫引擎将这些requests送到下载中间件(多个,例如加header,代理,自定义等等)进行处理。
第八:处理完之后,送往Downloader模块进行下载。

什么是 scrapy-redis 空跑,怎么解决

空跑:scrapy-redis框架中,reids存储的requests已经爬取完毕,但程序仍然一直运行
思路
在信号管理器上注册一个对应在spider_idle信号下的spider_idle()方法,当spider_idle触发是,信号管理器就会调用这个爬虫中的spider_idle()。

def spider_idle(self):
        """Schedules a request if available, otherwise waits."""
        # XXX: Handle a sentinel to close the spider.
        self.schedule_next_requests()    # 这里调用schedule_next_requests() 来从redis中生成新的请求
        raise DontCloseSpider              # 抛出不要关闭爬虫的DontCloseSpider异常,保证爬虫活着

爬虫关闭的关键是spider_idle 信号。
spider_idle信号只有在爬虫队列为空时才会被触发,触发间隔为5s。
那么我们也可以使用同样的方式,在信号管理器上注册一个对应在spider_idle信号下的spider_idle()方法。在 spider_idle() 方法中,编写结束条件来结束爬虫

增量爬取

利用已爬取数据的URL或者页面内容来建立数据指纹,作为key存入Redis数据库中的集合,每次爬虫要处理URL或者页面时会先去Redis数据库里检查一下是否已经存在,从而决定爬取内容。

反爬措施 怎样处理:

  • user-agent 的识别,可以随机替换请求头,对于scrapy,可以在中间件中设置随机替换请求头
  • 封ip,可以设置ip池,随机替换ip
  • 设置 cookie,其他请求头,防盗链
  • 动态数据,可以抓包,手机端可以使用Fiddler,网站可以selemium模拟网站登录。
  • 验证码,可以采取打码平台,超级鹰

scrapy的优缺点

  • Scrapy 优点
    scrapy 是异步的;
    采取可读性更强的 xpath 代替正则;强大的统计和 log 系统;同时在不同的 url 上爬行;
    支持 shell 方式,方便独立调试;
    写 middleware,方便写一些统一的过滤器;通过管道的方式存入数据库;
  • Scrapy 缺点
    基于 python 的爬虫框架,扩展性比较差;
    基于 twisted 框架,运行中的 exception 是不会干掉 reactor,并且异步框架出错后是不会停掉其他任务的,数据出错后难以察觉。

常见的反爬虫和应对方法?

  • 通过 Headers 反爬虫:
    从用户请求的 Headers 反爬虫是最常见的反爬虫策略。很多网站都会对 Headers 的 User-Agent进行检测,还有一部分网站会对 Referer 进行检测(一些资源网站的防盗链就是检测 Referer)。如果遇到了这类反爬虫机制,可以直接在爬虫中添加 Headers,将浏览器的 User-Agent 复制到爬虫的Headers 中;或者将 Referer 值修改为目标网站域名。对于检测 Headers 的反爬虫,在爬虫中修改或者添加 Headers 就能很好的绕过。
  • 基于用户行为反爬虫:
    还有一部分网站是通过检测用户行为,例如同一 IP 短时间内多次访问同一页面,或者同一账户短时间内多次进行相同操作。大多数网站都是前一种情况,对于这种情况,使用 IP 代理就可以解决。可以专门写一个爬虫,爬取网上公开的代理 ip,检测后全部保存起来。这样的代理 ip 爬虫经常会用到,最好自己准备一个。有了大量代理 ip 后可以每请求几次更换一个 ip,这在 requests 或者 urllib2 中很容易做到,这样就能很容易的绕过第一种反爬虫。对于第二种情况,可以在每次请求后随机间隔几秒再进行下一次请求。有些有逻辑漏洞的网站,可以通过请求几次,退出登录,重新登录,继续请求来绕过同一账号短时间内不能多次进行相同请求的限制。
  • 动态页面的反爬虫:
    上述的几种情况大多都是出现在静态页面,还有一部分网站,我们需要爬取的数据是通过 ajax 请求得到,或者通过 JavaScript 生成的。首先用 Fiddler 对网络请求进行分析。如果能够找到 ajax 请求,也能分析出具体的参数和响应的具体含义,我们就能采用上面的方法,直接利用 requests 或者 urllib2 模拟 ajax 请求,对响应的 json 进行分析得到需要的数据
    能够直接模拟 ajax 请求获取数据固然是极好的,但是有些网站把 ajax 请求的所有参数全部加密了。我们根本没办法构造自己所需要的数据的请求。这种情况下就用selenium+phantomJS,调用浏览器内核,并利用 phantomJS 执行 js 来模拟人为操作以及触发页面中的 js 脚本。从填写表单到点击按钮再到滚动页面,全部都可以模拟,不考虑具体的请求和响应过程,只是完完整整的把人浏览页面获取数据的过程模拟一遍。用这套框架几乎能绕过大多数的反爬虫,因为它不是在伪装成浏览器来获取数据(上述的通过添加 Headers 一定程度上就是为了伪装成浏览器),它本身就是浏览器phantomJS 就是一个没有界面的浏览器,只是操控这个浏览器的不是人。利用selenium+phantomJS 能干很多事情,例如识别点触式(12306)或者滑动式的验证码,对页面表单进行暴力破解等。
展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部