文档章节

Python scrapy爬虫爬取前程无忧的职位信息,并简要数据分析

zhaobig
 zhaobig
发布于 2017/09/11 20:49
字数 1025
阅读 3.1K
收藏 0
爬取python、java、html在北京的工作岗位,写入数据库,写入csv文件,并统计北京各个区的工作岗位数量,各个薪资水平的数量,以 柱状图/直方图展示

进入终端 scrapy startproject 项目名称
Pycharm打开项目
编写蜘蛛
spider代码:
# -*- coding: utf-8 -*-
import scrapy
from ..items import JobsItem

class JobSpider(scrapy.Spider):
    name = 'job'
    allowed_domains = ['51job']
    start_urls = ['http://search.51job.com/list/010000,000000,0000,00,9,99,python,2,1.html','http://search.51job.com/list/010000,000000,0000,00,9,99,java,2,1.html','http://search.51job.com/list/010000,000000,0000,00,9,99,html,2,1.html']

    def parse(self, response):
        # 1.本页数据重新发起请求,进行解析
        yield scrapy.Request(
            url=response.url,
            callback=self.parse_detail,
            # 指定是否参与去重,默认值False
            # 改为True,不参与去重
            dont_filter=True
        )


    def parse_detail(self,response):

        # 2.找到下一页按钮
        next_page = response.xpath("//li[@class='bk'][2]/a/@href")

        if next_page:
            # 发起请求
            yield scrapy.Request(
                url=next_page.extract_first(''),
                callback=self.parse_detail,
                # 不参与去重
                dont_filter=True
            )

        # 找到所有的工作岗位标签
        jobs = response.xpath("//div[@id='resultList']/div[@class='el']")
        for job in jobs:
            # 薪资
            job_money = job.xpath("span[@class='t4']/text()").extract_first('')
            # 把按月薪万或千的数据拿回来
            if '月' in job_money:
                if '千' in job_money:
                    money = job_money.split('千')[0]
                    min_money = float(money.split('-')[0])*1000
                    max_money = float(money.split('-')[1])*1000
                elif '万' in job_money:
                    money = job_money.split('万')[0]
                    min_money = float(money.split('-')[0])*10000
                    max_money = float(money.split('-')[1])*10000
                else:
                    continue
            else:
                continue
            # 工作名称
            job_name = job.xpath("p/span/a/@title").extract_first('')
            # 详情地址
            detail_url = job.xpath("p/span/a/@href").extract_first('')
            # 公司名称
            company_name = job.xpath("span[@class='t2']/a/text()").extract_first('')
            # 工作地点
            job_place = job.xpath("span[@class='t3']/text()").extract_first('')
            # 发布日期
            job_date = job.xpath("span[@class='t5']/text()").extract_first('')

            item = JobsItem()
            item["job_name"] = job_name
            item["job_place"] = job_place
            item["detail_url"] = detail_url
            item["company_name"] = company_name
            item["job_date"] = job_date
            item["job_money"] = job_money
            item["max_money"] = max_money
            item["min_money"] = min_money
            yield item
item中创建数据模型类
class JobsItem(scrapy.Item):
    job_name = scrapy.Field()
    detail_url = scrapy.Field()
    company_name = scrapy.Field()
    job_place = scrapy.Field()
    job_date = scrapy.Field()
    job_money = scrapy.Field()
    min_money = scrapy.Field()
    max_money = scrapy.Field()
middlewares中设置请求头
from fake_useragent import UserAgent
from random import choice
class RandomUAMiddleware(object):
    def __init__(self,crawler):
        super(RandomUAMiddleware, self).__init__()
        self.crawler = crawler
        self.ua = UserAgent()
        self.ip_list = ['60.18.164.46:63000','61.135.217.7:80','123.7.38.31:9999']
    @classmethod
    def from_crawler(cls,crawler):

        return cls(crawler)
    # 处理请求函数
    def process_request(self,request,spider):
        # 随机产生请求头
        request.headers.setdefault('User-Agent',self.ua.random)
pipelines中设置写入数据库和csv文件
import csv
import codecs
class SaveCSVFile(object):
    def __init__(self):
        self.file_handle = codecs.open('jobs.csv','w',encoding='utf-8')
        # 1.创建csv文件
        self.csv = csv.writer(self.file_handle)
        self.csv.writerow(('job_name','detail_url','company_name','job_place','job_date','job_money','min_money','max_money'))

    def process_item(self,item,spider):

        self.csv.writerow((item['job_name'],item['detail_url'],item['company_name'],item['job_place'],item['job_date'],item['job_money'],item['min_money'],item['max_money']))

        return item

    def __del__(self):
        # 关闭文件
        self.file_handle.close()


from twisted.enterprise import adbapi
from MySQLdb import cursors

class MysqlTwistedPipeline(object):
    @classmethod
    # 这个函数会自动调用
    def from_settings(cls,settings):
        # 准备好连接数据库需要的参数
        db_params = dict(
            host = settings["MYSQL_HOST"],
            port = settings["MYSQL_PORT"],
            user = settings["MYSQL_USER"],
            passwd = settings["MYSQL_PASSWD"],
            charset = settings["MYSQL_CHARSET"],
            db = settings["MYSQL_DBNAME"],
            use_unicode = True,
            # 指定游标类型
            cursorclass=cursors.DictCursor
        )
        # 创建连接池
        # 1.要连接的名称  2.连接需要的参数
        db_pool = adbapi.ConnectionPool('MySQLdb',**db_params)
        # 返回当前类的对象,并且把db_pool赋值给该类的对象
        return cls(db_pool)

    def __init__(self,db_pool):
        # 赋值
        self.db_pool = db_pool

    # 处理item函数
    def process_item(self,item,spider):
        # 把要处理的事件进行异步处理
        # 1.要处理的事件函数
        # 2.事件函数需要的参数
        query = self.db_pool.runInteraction(self.do_insert,item)
        # 执行sql出现错误信息
        query.addErrback(self.handle_error,item,spider)
        return item
    # 错误的原因
    def handle_error(self,failure,item,spider):

        print failure

    # 处理插入数据库的操作
    # cursor该函数是连接数据库的函数,并且放在异步去执行,cursor执行sql语句
    def do_insert(self,cursor,item):
        # 1.准备sql语句
        sql = 'insert into job(job_name,detail_url,company_name,job_place,job_date,job_money,min_money,max_money)VALUES (%s,%s,%s,%s,%s,%s,%s,%s)'
        # 2.用cursor游标执行sql
        cursor.execute(sql, (item["job_name"], item["detail_url"], item["company_name"], item["job_place"], item["job_date"], item["job_money"],item["min_money"], item["max_money"]))
settings文件设置
DOWNLOADER_MIDDLEWARES = {
   'ZHB51Job.middlewares.RandomUAMiddleware': 100,
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None
}
ITEM_PIPELINES = {
   'JobsSpider.pipelines.MysqlTwistedPipeline': 300,
    'JobsSpider.pipelines.SaveCSVFile': 301,
}
MYSQL_HOST = '127.0.0.1'
MYSQL_PORT = 3306
MYSQL_DBNAME = 'jobs'
MYSQL_USER = 'root'
MYSQL_PASSWD = '123456'
MYSQL_CHARSET = 'utf8'
创建debug调试文件
from scrapy.cmdline import execute

execute(['scrapy','crawl','spider'])
创建数据分析文件

# -*- coding:utf-8 -*-
import sys
import matplotlib.pyplot as plt
import numpy
reload(sys)
sys.setdefaultencoding("utf-8")
import pandas as pd
df_obj = pd.read_csv('job.csv') 

# 北京各岗位的数量
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
number = df_obj.groupby(df_obj['job_place']).size()
print number
number.plot.bar()
plt.title('北京各地区岗位数量')
plt.xlabel('地区')
plt.ylabel('数量')
plt.savefig('job.png')
plt.show() 

# 薪资及数量分布图
df_obj1=df_obj[df_obj['max_money']>0]
max_money = df_obj1.groupby(df_obj1['max_money']).size()
max_money.plot.bar()
plt.title('各个薪资水平及数量')
plt.xlabel('薪资')
plt.ylabel('数量')
plt.savefig('pay.png')
plt.show()
展示图例如下


© 著作权归作者所有

zhaobig
粉丝 0
博文 5
码字总数 5529
作品 0
省直辖县级行政区划
私信 提问
加载中

评论(0)

网络爬虫之scrapy爬取某招聘网手机APP发布信息

1 引言 过段时间要开始找新工作了,爬取一些岗位信息来分析一下吧。目前主流的招聘网站包括前程无忧、智联、BOSS直聘、拉勾等等。有段时间时间没爬取手机APP了,这次写一个爬虫爬取前程无忧手...

osc_gni094m4
2018/12/23
3
0
基于Scrapy爬取前程无忧招聘信息

1.项目介绍   本项目用于爬取前程无忧招聘网站发布的招聘信息,包括岗位名称、岗位要求、公司名称、经验要求等近30个字段,可用于对目前不同地区、行业招聘市场的数据分析中。 所用工具(技...

osc_rnrep3wi
2019/08/22
7
0
职位画像分析(pandas/ matplotlib)

一、数据分析的步骤 二、提出问题 (1) 分析数据分析师主要的技能排名? (2) 分析数据分析师薪资和岗位地点、学历、工作年限的关系? (3) 数据分析师的学历需求? (4) 不同城市数据分析师的需求...

osc_aq3v6w0z
2019/11/28
2
0
利用爬虫技术能做到哪些很酷很有趣很有用的事情?

豆瓣读书爬虫 通过豆瓣评分、评价人数探索挖掘经典好书,总共更新了3232088本图书信息。输入关键字、评价分数、评价人数多的数值(评价分数又高、人数又多的往往是经典之作),选定排序方法,...

九章算法
04/22
0
0
Python爬虫如何快速上手,并达到爬取大规模数据的水平

互联网的数据爆炸式的增长,而利用 Python 爬虫我们可以获取大量有价值的数据: 1.爬取数据,进行市场调研和商业分析 爬取知乎优质答案,筛选各话题下最优质的内容; 抓取房产网站买卖信息,...

技术小能手
2018/06/28
0
0

没有更多内容

加载失败,请刷新页面

加载更多

daily work report on May 25,2020

React-Native工程师 岗位要求 1、三年以上基于React-Native技术完成电商平台app混合开发实际工作经验,熟悉电商平台相关业务。 2、能熟练掌握React-Native,并能基于该技术独立完成相关工作,...

qwfys
24分钟前
23
0
HTTP/3 未来可期?

点击上方“朱小厮的博客”,选择“设为星标” 后台回复"加群",加入新技术 2015 年 HTTP/2 标准发表后,大多数主流浏览器也于当年年底支持该标准。此后,凭借着多路复用、头部压缩、服务器推...

osc_3b0dcpcm
26分钟前
8
0
【原创】JVM系列01 | 开篇

  20大进阶架构专题每日送达   1. Java 虚拟机是什么? 1.1 虚拟机   虚拟机:虚拟的计算机,一个用来执行虚拟计算机指令的软件。   虚拟机分为系统虚拟机和程序虚拟机。   系统虚...

osc_0k23td2u
27分钟前
8
0
Flink 1.10 细粒度资源管理解析

相信不少读者在开发 Flink 应用时或多或少会遇到在内存调优方面的问题,比如在我们生产环境中遇到最多的 TaskManager 在容器化环境下占用超出容器限制的内存而被 YARN/Mesos kill 掉[1],再比...

osc_n0c6719w
28分钟前
17
0
IDEA使用技巧-->查看继承关系

在开发中项目庞大的时候你会不知道当前类在项目中的使用情况,在哪被继承?在哪被实现?和谁有关联? 快捷键 eclipse中是: ctrl+tidea中是: ctrl+H点击当前类, 然后ctrl+H...

宇宝
29分钟前
21
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部