文档章节

起薪2万的爬虫工程师,Python需要学到什么程度才可以就业?

糖宝lsh
 糖宝lsh
发布于 2018/12/15 13:32
字数 1625
阅读 65
收藏 5

爬虫工程师的的薪资为20K起,当然,因为大数据,薪资也将一路上扬。那么,Python需要学到什么程度呢?今天我们来看看3位前辈的回答。

1、前段时间快要毕业,而我又不想找自己的老本行Java开发了,所以面了很多Python爬虫岗位。

因为我在南京上学,所以我一开始只是在南京投了简历,我一共面试了十几家企业,其中只有一家没有给我发offer,其他企业都愿意给到10K的薪资,不要拿南京的薪资水平和北上深的薪资水平比较,结合面试常问的问题类型说一说我的心得体会。

第一点:Python

因为面试的是Python爬虫岗位,面试官大多数会考察面试者的基础的Python知识,包括但不限于:

Python2.x与Python3.x的区别
Python的装饰器
Python的异步
Python的一些常用内置库,比如多线程之类的
第二点:数据结构与算法

数据结构与算法是对面试者尤其是校招生面试的一个很重要的点,当然小公司不会太在意这些,从目前的招聘情况来看对面试者的数据结构与算法的重视程度与企业的好坏成正比,那些从不问你数据结构的你就要当心他们是否把你当码农用的,当然以上情况不绝对,最终解释权归面试官所有。

第三点:Python爬虫

最重要也是最关键的一点当然是你的Python爬虫相关的知识与经验储备,这通常也是面试官考察的重点,包括但不限于:

你遇到过的反爬虫的策略有哪些?
你常用的反反爬虫的方案有哪些?
你用过多线程和异步吗?除此之外你还用过什么方法来提高爬虫效率?
有没有做过增量式抓取?
对Python爬虫框架是否有了解?
第四点:爬虫相关的项目经验

爬虫重在实践,除了理论知识之外,面试官也会十分注重爬虫相关的项目:

你做过哪些爬虫项目?如果有Github最好
你认为你做的最好的爬虫项目是哪个?其中解决了什么难题?有什么特别之处?
以上是我在面试过程中,会碰到的一些技术相关的问题的总结,当然面试中不光是技术这一点,但是对于做技术的,过了技术面基本上就是薪资问题了。

也许有人问我现在在哪家公司做爬虫开发?很抱歉,最终我放弃了南京的所有机会到了上海做我更喜欢的岗位:数据工程师。

2、给你一点我的面经吧。

初级的:

网络基础:cookie,session,https,headers常用的字段,代理使用等等

python基础:这个网上搜到的面经都得会,加上异步,多进程,多线程等等

爬虫:xpath,requests如何处理https,常见的反爬措施,举例说一个最难的爬虫过程,scrapy使用中的细节,例如代理,cookie,传参等等。

数据库:数据库操作,并表之类的。

中级:

网络:几层网络层的细节,比如说说udp/tcp/smtp区别,说说10.x.x.x/127.x.x.x/192.x.x.x的区别,说说DNS,谈谈路由交换机的区别

python:多重继承,多态,单例用装饰器的实现,数组/生成器/列表解析效率等等稍深入的细节

爬虫:分布式爬虫的实现,给你一个任务你马上给出一个合理的架构,验证码的处理,增量数据爬取,写爬虫时有没写些辅助工具。

数据库:sql nosql的细节,性能上的。

加分项:数据挖掘,机器学习,自然语言处理,能写网站,熟练操作linux,github小星星

在学习python中有任何困难不懂的可以加入python交流qun 227-435-450多多交流问题,互帮互助,里有不错的学习教程和开发工具。学习python有任何问题(学习方法,学习效率,如何就业),可以随时来

3、首先说说Python吧

爬虫给人的感觉就是对于Python编程的知识要求并不高,确实,搞懂基本数据结构、语句,会写写函数好像就OK了。

自己业余玩玩爬点数据还OK,但是你是要找工作成功爬虫工程师的,扎实的编程基础可不是会写函数就够了的。Python的高级特性、面向对象编程、多线程、装饰器等等你至少需要了解一下吧。

现在很多爬虫工程师的面试,编程的基本功要求还是很高的。编程的功底,以及对语言的理解,从某种程度上可以看出你的学习能力、发展潜力。

爬虫技术

HTTP必须要有很深刻的理解,这是你纵横网络的立身之本;

BeautifulSoup、xpath这些都是基础操作了,一定要做到非常熟练;

Scrapy框架要会用,要能信手捏来写个分布式爬虫;

Webdriver、Selenium、PhantomJS至少也要会使用吧;

反爬虫的技巧,重中之重,能不能搞回来数据,能高多少数据回来,很大程度依赖于此。抓包、cookie分析、代理池搭建、字体加密、验证码处理等等,也都是常规操作了;

当然数据库也少不了啊。一般企业要求至少会一种SQL和一种noSQL。

了解布隆过滤器,会增量爬取。

加分项:

掌握Python web相关的一些东西,能够进行后端开发;

掌握数据分析或者数据挖掘的技能,能够搞个算法模型,做个分析和预测。

今天就聊到这里啦!


 

© 著作权归作者所有

共有 人打赏支持
糖宝lsh
粉丝 32
博文 160
码字总数 261759
作品 0
临沂
私信 提问
Python学到什么程度才可以去找工作?掌握这4点足够了!

大家在学习Python的时候,有人会问“Python要学到什么程度才能出去找工作”,对于在Python培训机构学习Python的同学来说这都不是问题,因为按照Python课程大纲来,一般都不会有什么问题,而对...

p柯西
2018/06/27
0
0
详解Python开发的发展方向及其对应的薪资!

百度CEO曾表述:靠移动互联网的风口现已没有可能再出现独角兽了,由于市场现已进入了一个相对平稳的发展阶段,互联网人口渗透率现已超过了50%。而未来的机会在人工智能。确实互联网巨头公司在...

Python燕大侠
2018/05/06
0
0
成都2018年大数据需求增长快速,薪资情况客观

1、人才稀缺:未来3至5年,中国需要200万+大数据人才,目前大数据从业人数不足50万,市场需求远远得不到满足; 2、需求增长快速:大数据对接金融、电商、医疗、新零售、物联网、工业、农业、...

加米谷大数据
2018/06/06
0
0
机器学习/深度学习书单推荐及学习方法

所谓的“大数据”在近两年来极其火爆,甚至连街头巷尾的买菜大妈都知道。大数据最根本的基础是机器学习/深度学习,然而很多程序员们想要从事数据岗位的工作却不知如何下手。 数学需要吗?需要...

valada
2018/04/12
0
0
入行 AI,选个脚踏实地的岗位

算法工程师年薪百万耶,我也要当!以前没学会?没关系啊,我现在开始学,这就把工作辞了脱产学机器学习、深度学习、用 Python 调库、给 TensorFlow 调参去,学会了我也年薪百万了! 随便是个...

valada
2018/04/12
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Windows 上安装 Scala

在安装 Scala 之前需要先安装 Java 环境,具体安装的详细方法就不在这里描述了。 您可以自行搜索我们网站中的内容获得其他网站的帮助来获得如何安装 Java 环境的方法。 接下来,我们可以从 ...

honeymose
今天
1
0
数据库篇多表操作

第1章 多表操作 实际开发中,一个项目通常需要很多张表才能完成。例如:一个商城项目就需要分类表(category)、商品表(products)、订单表(orders)等多张表。且这些表的数据之间存在一定的关系...

stars永恒
今天
3
0
nginx日志自动切割

1.日志配置(Nginx 日志) access.log----记录哪些用户,哪些页面以及用户浏览器,IP等访问信息;error.log------记录服务器错误的日志 #配置日志存储路径:location / {      a...

em_aaron
昨天
5
0
java 反射

基本概念 RTTI,即Run-Time Type Identification,运行时类型识别。RTTI能在运行时就能够自动识别每个编译时已知的类型。   要想理解反射的原理,首先要了解什么是类型信息。Java让我们在运...

细节探索者
昨天
2
0
推荐转载连接

https://www.cnblogs.com/ysocean/p/7409779.html#_label0

小橙子的曼曼
昨天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部