文档章节

Python scrapy爬虫爬取前程无忧的职位信息,并简要数据分析

zhaobig
 zhaobig
发布于 2017/09/11 20:49
字数 1025
阅读 72
收藏 0
爬取python、java、html在北京的工作岗位,写入数据库,写入csv文件,并统计北京各个区的工作岗位数量,各个薪资水平的数量,以 柱状图/直方图展示

进入终端 scrapy startproject 项目名称
Pycharm打开项目
编写蜘蛛
spider代码:
# -*- coding: utf-8 -*-
import scrapy
from ..items import JobsItem

class JobSpider(scrapy.Spider):
    name = 'job'
    allowed_domains = ['51job']
    start_urls = ['http://search.51job.com/list/010000,000000,0000,00,9,99,python,2,1.html','http://search.51job.com/list/010000,000000,0000,00,9,99,java,2,1.html','http://search.51job.com/list/010000,000000,0000,00,9,99,html,2,1.html']

    def parse(self, response):
        # 1.本页数据重新发起请求,进行解析
        yield scrapy.Request(
            url=response.url,
            callback=self.parse_detail,
            # 指定是否参与去重,默认值False
            # 改为True,不参与去重
            dont_filter=True
        )


    def parse_detail(self,response):

        # 2.找到下一页按钮
        next_page = response.xpath("//li[@class='bk'][2]/a/@href")

        if next_page:
            # 发起请求
            yield scrapy.Request(
                url=next_page.extract_first(''),
                callback=self.parse_detail,
                # 不参与去重
                dont_filter=True
            )

        # 找到所有的工作岗位标签
        jobs = response.xpath("//div[@id='resultList']/div[@class='el']")
        for job in jobs:
            # 薪资
            job_money = job.xpath("span[@class='t4']/text()").extract_first('')
            # 把按月薪万或千的数据拿回来
            if '月' in job_money:
                if '千' in job_money:
                    money = job_money.split('千')[0]
                    min_money = float(money.split('-')[0])*1000
                    max_money = float(money.split('-')[1])*1000
                elif '万' in job_money:
                    money = job_money.split('万')[0]
                    min_money = float(money.split('-')[0])*10000
                    max_money = float(money.split('-')[1])*10000
                else:
                    continue
            else:
                continue
            # 工作名称
            job_name = job.xpath("p/span/a/@title").extract_first('')
            # 详情地址
            detail_url = job.xpath("p/span/a/@href").extract_first('')
            # 公司名称
            company_name = job.xpath("span[@class='t2']/a/text()").extract_first('')
            # 工作地点
            job_place = job.xpath("span[@class='t3']/text()").extract_first('')
            # 发布日期
            job_date = job.xpath("span[@class='t5']/text()").extract_first('')

            item = JobsItem()
            item["job_name"] = job_name
            item["job_place"] = job_place
            item["detail_url"] = detail_url
            item["company_name"] = company_name
            item["job_date"] = job_date
            item["job_money"] = job_money
            item["max_money"] = max_money
            item["min_money"] = min_money
            yield item
item中创建数据模型类
class JobsItem(scrapy.Item):
    job_name = scrapy.Field()
    detail_url = scrapy.Field()
    company_name = scrapy.Field()
    job_place = scrapy.Field()
    job_date = scrapy.Field()
    job_money = scrapy.Field()
    min_money = scrapy.Field()
    max_money = scrapy.Field()
middlewares中设置请求头
from fake_useragent import UserAgent
from random import choice
class RandomUAMiddleware(object):
    def __init__(self,crawler):
        super(RandomUAMiddleware, self).__init__()
        self.crawler = crawler
        self.ua = UserAgent()
        self.ip_list = ['60.18.164.46:63000','61.135.217.7:80','123.7.38.31:9999']
    @classmethod
    def from_crawler(cls,crawler):

        return cls(crawler)
    # 处理请求函数
    def process_request(self,request,spider):
        # 随机产生请求头
        request.headers.setdefault('User-Agent',self.ua.random)
pipelines中设置写入数据库和csv文件
import csv
import codecs
class SaveCSVFile(object):
    def __init__(self):
        self.file_handle = codecs.open('jobs.csv','w',encoding='utf-8')
        # 1.创建csv文件
        self.csv = csv.writer(self.file_handle)
        self.csv.writerow(('job_name','detail_url','company_name','job_place','job_date','job_money','min_money','max_money'))

    def process_item(self,item,spider):

        self.csv.writerow((item['job_name'],item['detail_url'],item['company_name'],item['job_place'],item['job_date'],item['job_money'],item['min_money'],item['max_money']))

        return item

    def __del__(self):
        # 关闭文件
        self.file_handle.close()


from twisted.enterprise import adbapi
from MySQLdb import cursors

class MysqlTwistedPipeline(object):
    @classmethod
    # 这个函数会自动调用
    def from_settings(cls,settings):
        # 准备好连接数据库需要的参数
        db_params = dict(
            host = settings["MYSQL_HOST"],
            port = settings["MYSQL_PORT"],
            user = settings["MYSQL_USER"],
            passwd = settings["MYSQL_PASSWD"],
            charset = settings["MYSQL_CHARSET"],
            db = settings["MYSQL_DBNAME"],
            use_unicode = True,
            # 指定游标类型
            cursorclass=cursors.DictCursor
        )
        # 创建连接池
        # 1.要连接的名称  2.连接需要的参数
        db_pool = adbapi.ConnectionPool('MySQLdb',**db_params)
        # 返回当前类的对象,并且把db_pool赋值给该类的对象
        return cls(db_pool)

    def __init__(self,db_pool):
        # 赋值
        self.db_pool = db_pool

    # 处理item函数
    def process_item(self,item,spider):
        # 把要处理的事件进行异步处理
        # 1.要处理的事件函数
        # 2.事件函数需要的参数
        query = self.db_pool.runInteraction(self.do_insert,item)
        # 执行sql出现错误信息
        query.addErrback(self.handle_error,item,spider)
        return item
    # 错误的原因
    def handle_error(self,failure,item,spider):

        print failure

    # 处理插入数据库的操作
    # cursor该函数是连接数据库的函数,并且放在异步去执行,cursor执行sql语句
    def do_insert(self,cursor,item):
        # 1.准备sql语句
        sql = 'insert into job(job_name,detail_url,company_name,job_place,job_date,job_money,min_money,max_money)VALUES (%s,%s,%s,%s,%s,%s,%s,%s)'
        # 2.用cursor游标执行sql
        cursor.execute(sql, (item["job_name"], item["detail_url"], item["company_name"], item["job_place"], item["job_date"], item["job_money"],item["min_money"], item["max_money"]))
settings文件设置
DOWNLOADER_MIDDLEWARES = {
   'ZHB51Job.middlewares.RandomUAMiddleware': 100,
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None
}
ITEM_PIPELINES = {
   'JobsSpider.pipelines.MysqlTwistedPipeline': 300,
    'JobsSpider.pipelines.SaveCSVFile': 301,
}
MYSQL_HOST = '127.0.0.1'
MYSQL_PORT = 3306
MYSQL_DBNAME = 'jobs'
MYSQL_USER = 'root'
MYSQL_PASSWD = '123456'
MYSQL_CHARSET = 'utf8'
创建debug调试文件
from scrapy.cmdline import execute

execute(['scrapy','crawl','spider'])
创建数据分析文件

# -*- coding:utf-8 -*-
import sys
import matplotlib.pyplot as plt
import numpy
reload(sys)
sys.setdefaultencoding("utf-8")
import pandas as pd
df_obj = pd.read_csv('job.csv') 

# 北京各岗位的数量
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
number = df_obj.groupby(df_obj['job_place']).size()
print number
number.plot.bar()
plt.title('北京各地区岗位数量')
plt.xlabel('地区')
plt.ylabel('数量')
plt.savefig('job.png')
plt.show() 

# 薪资及数量分布图
df_obj1=df_obj[df_obj['max_money']>0]
max_money = df_obj1.groupby(df_obj1['max_money']).size()
max_money.plot.bar()
plt.title('各个薪资水平及数量')
plt.xlabel('薪资')
plt.ylabel('数量')
plt.savefig('pay.png')
plt.show()
展示图例如下


© 著作权归作者所有

共有 人打赏支持
zhaobig
粉丝 0
博文 5
码字总数 5529
作品 0
省直辖县级行政区划
一个月入门Python爬虫,快速获取大规模数据

数据是创造和决策的原材料,高质量的数据都价值不菲。而利用爬虫,我们可以获取大量的价值数据,经分析可以发挥巨大的价值,比如: 豆瓣、知乎:爬取优质答案,筛选出各话题下热门内容,探索...

Python开发者
04/25
0
0
Python爬虫如何快速上手,并达到爬取大规模数据的水平

互联网的数据爆炸式的增长,而利用 Python 爬虫我们可以获取大量有价值的数据: 1.爬取数据,进行市场调研和商业分析 爬取知乎优质答案,筛选各话题下最优质的内容; 抓取房产网站买卖信息,...

技术小能手
06/28
0
0
【招聘数据分析】Python就业前景如何

写在前面的说明 这篇文章去年10月就发在了公众号里,代码是9月完成的。但后来忘了发在知乎专栏。所以数据的时效性是不行了,仅供参考,大家纯当做 爬虫+数据展示 的开发案例来看待吧。 在线演...

crossin
07/03
0
0
2个月精通Python爬虫——3大爬虫框架+6场实战+分布式爬虫,包教包会

阿里云大学在线工作坊上线,原理精讲+实操演练,让你真正掌握云计算、大数据技能。 在第一批上线的课程中,有一个Python爬虫的课程,畅销书《精通Python网络爬虫》作者韦玮,带你两个月从入门...

云木西
06/27
0
0
高级爬虫(一):Scrapy爬虫框架的安装

Hi 小伙伴们差不多有半个月没有更新干货了,一直有点忙,而且这中间还有曲折过程,也就没有更新文章. 但今天无论如何也要更新一篇文章,接下来是爬虫高级篇重点讲解的地方! 最近会连载Scrap...

Python绿色通道
04/22
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

此生1.3

颜值是开胃菜,不要太在意,正餐才是重点。

colinux
今天
1
0
[雪峰磁针石博客]软件测试专家工具包1web测试

web测试 本章主要涉及功能测试、自动化测试(参考: 软件自动化测试初学者忠告) 、接口测试(参考:10分钟学会API测试)、跨浏览器测试、可访问性测试和可用性测试的测试工具列表。 安全测试工具...

python测试开发人工智能安全
今天
3
0
JS:异步 - 面试惨案

为什么会写这篇文章,很明显不符合我的性格的东西,原因是前段时间参与了一个面试,对于很多程序员来说,面试时候多么的鸦雀无声,事后心里就有多么的千军万马。去掉最开始毕业干了一年的Jav...

xmqywx
今天
3
0
Win10 64位系统,PHP 扩展 curl插件

执行:1. 拷贝php安装目录下,libeay32.dll、ssleay32.dll 、 libssh2.dll 到 C:\windows\system32 目录。2. 拷贝php/ext目录下, php_curl.dll 到 C:\windows\system32 目录; 3. p...

放飞E梦想O
今天
1
0
谈谈神秘的ES6——(五)解构赋值【对象篇】

上一节课我们了解了有关数组的解构赋值相关内容,这节课,我们接着,来讲讲对象的解构赋值。 解构不仅可以用于数组,还可以用于对象。 let { foo, bar } = { foo: "aaa", bar: "bbb" };fo...

JandenMa
今天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部