文档章节

Python scrapy爬虫爬取前程无忧的职位信息,并简要数据分析

zhaobig
 zhaobig
发布于 2017/09/11 20:49
字数 1025
阅读 94
收藏 0
爬取python、java、html在北京的工作岗位,写入数据库,写入csv文件,并统计北京各个区的工作岗位数量,各个薪资水平的数量,以 柱状图/直方图展示

进入终端 scrapy startproject 项目名称
Pycharm打开项目
编写蜘蛛
spider代码:
# -*- coding: utf-8 -*-
import scrapy
from ..items import JobsItem

class JobSpider(scrapy.Spider):
    name = 'job'
    allowed_domains = ['51job']
    start_urls = ['http://search.51job.com/list/010000,000000,0000,00,9,99,python,2,1.html','http://search.51job.com/list/010000,000000,0000,00,9,99,java,2,1.html','http://search.51job.com/list/010000,000000,0000,00,9,99,html,2,1.html']

    def parse(self, response):
        # 1.本页数据重新发起请求,进行解析
        yield scrapy.Request(
            url=response.url,
            callback=self.parse_detail,
            # 指定是否参与去重,默认值False
            # 改为True,不参与去重
            dont_filter=True
        )


    def parse_detail(self,response):

        # 2.找到下一页按钮
        next_page = response.xpath("//li[@class='bk'][2]/a/@href")

        if next_page:
            # 发起请求
            yield scrapy.Request(
                url=next_page.extract_first(''),
                callback=self.parse_detail,
                # 不参与去重
                dont_filter=True
            )

        # 找到所有的工作岗位标签
        jobs = response.xpath("//div[@id='resultList']/div[@class='el']")
        for job in jobs:
            # 薪资
            job_money = job.xpath("span[@class='t4']/text()").extract_first('')
            # 把按月薪万或千的数据拿回来
            if '月' in job_money:
                if '千' in job_money:
                    money = job_money.split('千')[0]
                    min_money = float(money.split('-')[0])*1000
                    max_money = float(money.split('-')[1])*1000
                elif '万' in job_money:
                    money = job_money.split('万')[0]
                    min_money = float(money.split('-')[0])*10000
                    max_money = float(money.split('-')[1])*10000
                else:
                    continue
            else:
                continue
            # 工作名称
            job_name = job.xpath("p/span/a/@title").extract_first('')
            # 详情地址
            detail_url = job.xpath("p/span/a/@href").extract_first('')
            # 公司名称
            company_name = job.xpath("span[@class='t2']/a/text()").extract_first('')
            # 工作地点
            job_place = job.xpath("span[@class='t3']/text()").extract_first('')
            # 发布日期
            job_date = job.xpath("span[@class='t5']/text()").extract_first('')

            item = JobsItem()
            item["job_name"] = job_name
            item["job_place"] = job_place
            item["detail_url"] = detail_url
            item["company_name"] = company_name
            item["job_date"] = job_date
            item["job_money"] = job_money
            item["max_money"] = max_money
            item["min_money"] = min_money
            yield item
item中创建数据模型类
class JobsItem(scrapy.Item):
    job_name = scrapy.Field()
    detail_url = scrapy.Field()
    company_name = scrapy.Field()
    job_place = scrapy.Field()
    job_date = scrapy.Field()
    job_money = scrapy.Field()
    min_money = scrapy.Field()
    max_money = scrapy.Field()
middlewares中设置请求头
from fake_useragent import UserAgent
from random import choice
class RandomUAMiddleware(object):
    def __init__(self,crawler):
        super(RandomUAMiddleware, self).__init__()
        self.crawler = crawler
        self.ua = UserAgent()
        self.ip_list = ['60.18.164.46:63000','61.135.217.7:80','123.7.38.31:9999']
    @classmethod
    def from_crawler(cls,crawler):

        return cls(crawler)
    # 处理请求函数
    def process_request(self,request,spider):
        # 随机产生请求头
        request.headers.setdefault('User-Agent',self.ua.random)
pipelines中设置写入数据库和csv文件
import csv
import codecs
class SaveCSVFile(object):
    def __init__(self):
        self.file_handle = codecs.open('jobs.csv','w',encoding='utf-8')
        # 1.创建csv文件
        self.csv = csv.writer(self.file_handle)
        self.csv.writerow(('job_name','detail_url','company_name','job_place','job_date','job_money','min_money','max_money'))

    def process_item(self,item,spider):

        self.csv.writerow((item['job_name'],item['detail_url'],item['company_name'],item['job_place'],item['job_date'],item['job_money'],item['min_money'],item['max_money']))

        return item

    def __del__(self):
        # 关闭文件
        self.file_handle.close()


from twisted.enterprise import adbapi
from MySQLdb import cursors

class MysqlTwistedPipeline(object):
    @classmethod
    # 这个函数会自动调用
    def from_settings(cls,settings):
        # 准备好连接数据库需要的参数
        db_params = dict(
            host = settings["MYSQL_HOST"],
            port = settings["MYSQL_PORT"],
            user = settings["MYSQL_USER"],
            passwd = settings["MYSQL_PASSWD"],
            charset = settings["MYSQL_CHARSET"],
            db = settings["MYSQL_DBNAME"],
            use_unicode = True,
            # 指定游标类型
            cursorclass=cursors.DictCursor
        )
        # 创建连接池
        # 1.要连接的名称  2.连接需要的参数
        db_pool = adbapi.ConnectionPool('MySQLdb',**db_params)
        # 返回当前类的对象,并且把db_pool赋值给该类的对象
        return cls(db_pool)

    def __init__(self,db_pool):
        # 赋值
        self.db_pool = db_pool

    # 处理item函数
    def process_item(self,item,spider):
        # 把要处理的事件进行异步处理
        # 1.要处理的事件函数
        # 2.事件函数需要的参数
        query = self.db_pool.runInteraction(self.do_insert,item)
        # 执行sql出现错误信息
        query.addErrback(self.handle_error,item,spider)
        return item
    # 错误的原因
    def handle_error(self,failure,item,spider):

        print failure

    # 处理插入数据库的操作
    # cursor该函数是连接数据库的函数,并且放在异步去执行,cursor执行sql语句
    def do_insert(self,cursor,item):
        # 1.准备sql语句
        sql = 'insert into job(job_name,detail_url,company_name,job_place,job_date,job_money,min_money,max_money)VALUES (%s,%s,%s,%s,%s,%s,%s,%s)'
        # 2.用cursor游标执行sql
        cursor.execute(sql, (item["job_name"], item["detail_url"], item["company_name"], item["job_place"], item["job_date"], item["job_money"],item["min_money"], item["max_money"]))
settings文件设置
DOWNLOADER_MIDDLEWARES = {
   'ZHB51Job.middlewares.RandomUAMiddleware': 100,
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None
}
ITEM_PIPELINES = {
   'JobsSpider.pipelines.MysqlTwistedPipeline': 300,
    'JobsSpider.pipelines.SaveCSVFile': 301,
}
MYSQL_HOST = '127.0.0.1'
MYSQL_PORT = 3306
MYSQL_DBNAME = 'jobs'
MYSQL_USER = 'root'
MYSQL_PASSWD = '123456'
MYSQL_CHARSET = 'utf8'
创建debug调试文件
from scrapy.cmdline import execute

execute(['scrapy','crawl','spider'])
创建数据分析文件

# -*- coding:utf-8 -*-
import sys
import matplotlib.pyplot as plt
import numpy
reload(sys)
sys.setdefaultencoding("utf-8")
import pandas as pd
df_obj = pd.read_csv('job.csv') 

# 北京各岗位的数量
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
number = df_obj.groupby(df_obj['job_place']).size()
print number
number.plot.bar()
plt.title('北京各地区岗位数量')
plt.xlabel('地区')
plt.ylabel('数量')
plt.savefig('job.png')
plt.show() 

# 薪资及数量分布图
df_obj1=df_obj[df_obj['max_money']>0]
max_money = df_obj1.groupby(df_obj1['max_money']).size()
max_money.plot.bar()
plt.title('各个薪资水平及数量')
plt.xlabel('薪资')
plt.ylabel('数量')
plt.savefig('pay.png')
plt.show()
展示图例如下


© 著作权归作者所有

共有 人打赏支持
zhaobig
粉丝 0
博文 5
码字总数 5529
作品 0
省直辖县级行政区划
私信 提问
Python爬虫如何快速上手,并达到爬取大规模数据的水平

互联网的数据爆炸式的增长,而利用 Python 爬虫我们可以获取大量有价值的数据: 1.爬取数据,进行市场调研和商业分析 爬取知乎优质答案,筛选各话题下最优质的内容; 抓取房产网站买卖信息,...

技术小能手
06/28
0
0
一个月入门Python爬虫,快速获取大规模数据

数据是创造和决策的原材料,高质量的数据都价值不菲。而利用爬虫,我们可以获取大量的价值数据,经分析可以发挥巨大的价值,比如: 豆瓣、知乎:爬取优质答案,筛选出各话题下热门内容,探索...

Python开发者
04/25
0
0
Python利用Scrapy爬取智联招聘和前程无忧的招聘数据

爬虫起因   前面两个星期,利用周末的时间尝试和了解了一下Python爬虫,紧接着就开始用Scrapy框架做了一些小的爬虫,不过,由于最近一段时间的迷茫,和处于对职业生涯的规划。以及对市场需...

镇屌要逆袭
2017/12/08
0
0
【招聘数据分析】Python就业前景如何

写在前面的说明 这篇文章去年10月就发在了公众号里,代码是9月完成的。但后来忘了发在知乎专栏。所以数据的时效性是不行了,仅供参考,大家纯当做 爬虫+数据展示 的开发案例来看待吧。 在线演...

crossin
07/03
0
0
Python新书上市,强烈推荐!《Python网络数据爬取及分析从入门到精通(爬取篇)》导读

版权声明:本文为博主原创文章,转载请注明CSDN博客源地址!共同学习,一起进步~ https://blog.csdn.net/Eastmount/article/details/80647813 Python新书上市,强烈推荐! 《Python网络数据爬...

Eastmount
06/15
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Idea

command + E : 打开最近编辑过的文件 command + shift + O : 打开指定文件 command + O : 打开指定类 shift+command+delete 打开上一次编辑过的地方 option + command + t 代码块包含 option...

xpttxsok
36分钟前
2
0
FTP 协议 1.0

自己制作的FTP协议:

Explorer0
47分钟前
2
0
Android 通过DrawableInflater加载自定义Drawable

一、Drawable 在Android系统张,图形图像的绘制需要在画布上进行操作和处理,但是绘制需要了解很多细节以及可能要进行一些复杂的处理,因此系统提供了一个被称之为Drawable的类来进行绘制处理...

IamOkay
58分钟前
3
0
灵活无处安放,所以选择流浪....《漆黑的空间》& 《灰色轨迹》

灵活无处安放,所以选择流浪....《漆黑的空间》& 《灰色轨迹》

yizhichao
今天
1
0
Kafka+Flink 实现准实时异常检测系统

1.背景介绍 异常检测可以定义为“基于行动者(人或机器)的行为是否正常作出决策”,这项技术可以应用于非常多的行业中,比如金融场景中做交易检测、贷款检测;工业场景中做生产线预警;安防...

架构师springboot
今天
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部