文档章节

Python3获取拉勾网招聘信息

o
 osc_w9s1w4o0
发布于 2019/04/01 16:04
字数 1219
阅读 25
收藏 0

钉钉、微博极速扩容黑科技,点击观看阿里云弹性计算年度发布会!>>>

 

  为了了解跟python数据分析有关行业的信息,大概地了解一下对这个行业的要求以及薪资状况,我决定从网上获取信息并进行分析。既然想要分析就必须要有数据,于是我选择了拉勾,冒着危险深入内部,从他们那里得到了信息。不得不说,拉勾的反爬技术还挺厉害的,稍后再说明。话不多说,直接开始。

一、明确目的

  每次爬虫都要有明确的目的,刚接触随便找东西试水的除外。我想要知道的是python数据分析的要求以及薪资状况,因此,薪资、学历、工作经验以及一些任职要求就是我的目的。

  既然明确了目的,我们就要看一下它们在什么位置,所以我们打开浏览器,寻找目标。像拉勾这种网站他们的信息一般都是通过ajax加载的,而且在输入“python数据分析”敲击回车之后跳转的页面,招聘信息不是一开始就显示出来的,通过点击页码也只是招聘信息在变化甚至连network都没多大变化,可以大胆猜测他是通过post请求的,所以我们只关注post请求以及XHR文件,很快就发现了我们要的东西。

 

 

  点击preview可见详细信息以json形式保存着,其中‘salary’、‘workYear’、‘education’、‘positionID’(招聘信息详情页有关的id)是我们要的。再观察一下它的form data,其中kd=关键字,pn=pageNum(页码)这是我们请求的时候要带上的参数。另外我们要注意请求头的referer参数,待会儿要用。知道了目标之后,爬起来!

 

二、开始爬虫

 

  先设置请求头headers,把平时用的user-agent带上,再把formdata也带上,用requests库直接requests.post(url, headers=headers, data=formdata),然后就开始报错了:{"status":false,"msg":"您操作太频繁,请稍后再访问","clientIp":"......","state":2402}。

 

  解决这个问题的关键在于,了解拉勾的反爬机制:在进入python数据分析招聘页之前,我们要在主页,不妨叫它start_url输入关键字跳转。在这个过程中,服务器会传回来一个cookies,如果带着这个cookies请求的话我们就可以得到要的东西,所以要先请求start_url获取cookies在请求目标url,而且在请求目标地址的话还要带上referer这个请求头参数,referer的含义大概是这样:告诉服务器我是从哪个页面链接过来的,服务器基此可以获得一些信息用于处理。另外,睡眠时间也要设置的长一点,不然很容易被封。知道了反爬机制之后,话不多说,直接上代码。

 

'''

@author: Max_Lyu

Create time: 2019/4/1

url: https://github.com/MaxLyu/Lagou_Analyze

'''

    # 请求起始 url 返回 cookies
    def get_start_url(self):
        session = requests.session()
        session.get(self.start_url, headers=self.headers, timeout=3)
        cookies = session.cookies
        return cookies

    # 将返回的 cookies 一起 post 给 target_url 并获取数据
    def post_target_url(self):
        cookies = self.get_start_url()
        pn = 1
        for pg in range(30):
            formdata = {
                'first': 'false',
                'pn': pn,
                'kd': 'python数据分析'
            }
            pn += 1

            response = requests.post(self.target_url, data=formdata, cookies=cookies, headers=self.headers, timeout=3)
            self.parse(response)
            time.sleep(60)      # 拉勾的反扒技术比较强,短睡眠时间会被封

    # 解析 response,获取 items
    def parse(self, response):
        print(response)
        items = []
        print(response.text)
        data = json.loads(response.text)['content']['positionResult']['result']

        if len(data):
            for i in range(len(data)):
                positionId = data[i]['positionId']
                education = data[i]['education']
                workYear = data[i]['workYear']
                salary = data[i]['salary']
                list = [positionId, education, workYear, salary]
                items.append(list)
        self.save_data(items)
        time.sleep(1.3)

 

  其中save_data(items)是保存文件,我是保存在csv文件。篇幅有限,这里就不展示了。

 

三、获取招聘详情

 

  上面说了positionID 是为了获取详情页,详情页里面有要的任职要求。这个要获取就相对容易了,不过文本的处理并没有很简单,我只能通过“要求”这两个字获取任职要求(虽然有的为任职技能啥的,就这样进行取舍了)。

 

'''

@author: Max_Lyu

Create time: 2019/4/1

url: https://github.com/MaxLyu/Lagou_Analyze

'''

def get_url():
    urls = []
    with open("analyst.csv", 'r', newline='') as file:
        # 读取文件
        reader = csv.reader(file)
        for row in reader:
            # 根据 positionID 补全 url
            if row[0] != "ID":
                url = "https://www.lagou.com/jobs/{}.html".format(row[0])
                urls.append(url)

    file.close()
    return urls

# 获取详细信息
def get_info():
    urls = get_url()
    length = len(urls)
    for url in urls:
        print(url)
        description = ''
        print(length)
        response = requests.get(url, headers=headers)
        response.encoding = 'utf-8'
        content = etree.HTML(response.text)
        detail = content.xpath('//*[@id="job_detail"]/dd[2]/div/p/text()')
        print(detail)

        for i in range(1, len(detail)):

            if '要求' in detail[i-1]:
                for j in range(i, len(detail)):
                    detail[j] = detail[j].replace('\xa0', '')
                    detail[j] = re.sub('[、;;.0-9。]', '', detail[j])
                    description = description + detail[j] + '/'
                print(description)
        write_file(description)
        length -= 1
        time.sleep(3)

 

四、成果与展示

 

 

 到这里,爬取的任务就结束了,源码地址:https://github.com/MaxLyu/Lagou_Analyze 。获得数据之后就是小小地分析一下了,这个下次再总结。

 

o
粉丝 0
博文 500
码字总数 0
作品 0
私信 提问
加载中
请先登录后再评论。
拉勾网爬取全国python职位并数据分析薪资,工作经验,学历等信息

首先前往拉勾网“爬虫”职位相关页面 确定网页的加载方式是JavaScript加载 通过谷歌浏览器开发者工具分析和寻找网页的真实请求,确定真实数据在position.Ajax开头的链接里,请求方式是POST ...

osc_nd6644ee
2018/07/30
2
0
通过数据,了解招聘现状,收获你的 offer

本文分享自微信公众号 - 木下学Python(zjkpy)。 如有侵权,请联系 support@oschina.cn 删除。 本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。...

木下瞳
2019/12/12
0
0
通过数据,了解招聘现状,收获你的 offer

本文分享自微信公众号 - 木下学Python(zjkpy)。 如有侵权,请联系 support@oschina.cn 删除。 本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。...

木下瞳
2019/11/27
0
0
拉勾网爬虫--待改正

由于在微信公众号CSDN上看到一篇拉勾网招聘信息爬取及分析的文章,觉得非常不错,于是也copy一下,但是却出现了许多文章中没有提到的错误,正是一失足成千古恨啊! 首先插入代码: import r...

osc_xd3gabrc
2019/02/20
2
0
拉勾网拉你上勾

本文分享自微信公众号 - 木下学Python(zjkpy)。 如有侵权,请联系 support@oschina.cn 删除。 本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。...

木下瞳
2019/04/17
7
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周三乱弹 —— 公主是大王的,命是自己的。小怪也要养家糊口啊!

Osc乱弹歌单(2020)请戳(这里) 【今日歌曲】 @巴拉迪维 :郭燕的单曲《下半生》 最近听一些轻快的歌 #今日歌曲推荐# 《下半生》 - 郭燕 手机党少年们想听歌,请使劲儿戳(这里) @锦年 :...

小小编辑
9分钟前
5
0
Git不断提示我输入密码 - Git keeps prompting me for a password

问题: I've been using Git for a while now, but the constant requests for a password are starting to drive me up the wall. 我已经使用Git一段时间了,但是不断要求输入密码的人开始把......

fyin1314
18分钟前
4
0
未捕获ReferenceError:未定义$? - Uncaught ReferenceError: $ is not defined?

问题: How come this code throws an 此代码如何引发 Uncaught ReferenceError: $ is not defined 未捕获的ReferenceError:未定义$ when it was OK before? 以前什么时候可以? $(document......

javail
48分钟前
12
0
263. Ugly Number

题目: 263. Ugly Number 题目地址:https://leetcode.com/problems/ugly-number/ Write a program to check whether a given number is an ugly number. Ugly numbers are positive numbers......

JiaMing
今天
60
0
HCIA_ARP01

ARP(地址解析协议) eNSP 常用路由器:AR2220 常用交换机:S5700、S3700 常用终端:PC、MCS(主播服务器) 设备连线:Copper(以太网用到的双绞线)、Serial(串口线,2SA接口)、Auto(自动连...

创业789
今天
25
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部