文档章节

python抓取京东商品价格

o_冰茶_o
 o_冰茶_o
发布于 2017/09/11 14:24
字数 301
阅读 9
收藏 0
点赞 0
评论 0

本文介绍两种抓取价格的方法

1、读取接口获取价格 scrapy等等。。简单

2、基于模拟浏览器读取页面抓取selenium 简单

京东商品价格目前是基于api接口获取然后通过js进行数值初始化

 

一、基于selenium模拟浏览器进行抓取


In [11]: from selenium import webdriver

In [12]: drive = webdriver.PhantomJS()

In [13]: driver.get("https://item.jd.com/12608054023.html")

In [14]: driver.find_element_by_class_name("price").text

Out[14]: u'119.00'

In [15]: driver.find_element_by_class_name("p-price-plus").text

Out[15]: u'\uffe5109.00'

In [16]: print driver.find_element_by_class_name("p-price-plus").text

¥109.00

In [17]: driver.find_element_by_class_name("p-price").text

Out[17]: u'\uffe5119.00'

In [18]: print driver.find_element_by_class_name("p-price").text

导入到BeautifulSoup处理

from bs4 import BeautifulSoup as bs

pageSource = driver.page_source

bsobj = bs(pageSource)

print bsobj.find('span',{'class':'p-price'}).get_text()

 

二、基于scrapy抓取方式

1、爬取价格

 

http://p.3.cn/prices/mgets?skuIds=J_12608054023,J_&type=1

其中12608054023是商品的id

返回的是个json格式的数据如下:

 

其中p对应的就是商品价格

2、爬取评论

http://club.jd.com/productpage/p-12608054023-s-0-t-3-p-0.html

其中12608054023是商品的id

返回的是个json格式的数据

 

其中有商品数量和评价信息

scrapy shell https://p.3.cn/prices/get\?skuid\=J_11896401

import json

data = json.loads(response.body)

print data[0].get('p')

 

© 著作权归作者所有

共有 人打赏支持
o_冰茶_o
粉丝 0
博文 10
码字总数 3187
作品 0
海淀
高级程序员
一个月入门Python爬虫,快速获取大规模数据

数据是创造和决策的原材料,高质量的数据都价值不菲。而利用爬虫,我们可以获取大量的价值数据,经分析可以发挥巨大的价值,比如: 豆瓣、知乎:爬取优质答案,筛选出各话题下热门内容,探索...

Python开发者 ⋅ 04/25 ⋅ 0

有关python中使用tkinter制作一个简单的购买页面

我是python小白,请教各位高手,用tkinter编写在线购买商店程序,现产品名称和价格已抓取成为列表,要求调出第二个页面时,选取商品加入购物车,请教用tkinter的什么方法实现这个功能,谢谢各...

yuanqings ⋅ 05/20 ⋅ 0

5.2 高富帅python-人工智能时代

小奈:其实你们写的代码好像有不同派系的? 大仁:你是说编程语言?我来介绍下吧,我们来看下GitHub(程序员同城交友、代码协作平台)的数据,看下各种编程语言 Pull Requst的数据, Javascr...

产品经理的技术课堂 ⋅ 05/11 ⋅ 0

手把手教你写网络爬虫(2):迷你爬虫架构

原文出处:拓海 介绍 大家好!回顾上一期,我们在介绍了爬虫的基本概念之后,就利用各种工具横冲直撞的完成了一个小爬虫,目的就是猛、糙、快,方便初学者上手,建立信心。对于有一定基础的读...

拓海 ⋅ 04/27 ⋅ 0

Python批量获取京东商品列表信息

今天在逛网站的时候无意间发现一个京东获取单个商品价格接口: http://p.3.cn/prices/mgets?skuIds=J_商品ID&type=1 用例 ps:商品ID这么获取:http://item.jd.com/954086.html 于是我就从Goo...

╭ァの修罗 ⋅ 2016/08/05 ⋅ 0

书单丨被强化学习一次次伤害?本书单带你一步步入门!

强化学习是机器学习里非常重要的分支 但由于其自身已形成庞大的体系 同时需要多方面知识进行辅助 让很多初学者望而生畏 本书单从机器学习基础着手 一步步带你入门强化学习 NO.1《Python与机器...

博文视点 ⋅ 05/14 ⋅ 0

Python3爬虫视频学习教程

大家好哈,现在呢静觅博客已经两年多啦,可能大家过来更多看到的是爬虫方面的博文,首先非常感谢大家的支持,希望我的博文对大家有帮助! 最近,主要的任务就是开发性感美女图片大全,使用p...

yangjiyue0520 ⋅ 2017/11/18 ⋅ 0

对指定多个目录的第一级保留进行保留(再递归删除空目录)

对指定多个目录的第一级保留进行保留(再递归删除空目录): 注: 1、先从1个文件里读取多个大目录 2、再将大目录里的第一级目录抓取后存到另1文件 3、再对第一级目录的子目录判断是否为空 ...

yangzhimingg ⋅ 06/13 ⋅ 0

Python抓取淘宝女装信息(二)

继上周的淘宝女装连衣裙信息爬虫进一步完善,进行了次级页面信息的抓取、支持多进程。 数据说明: 本次爬取淘宝女装连衣裙共8个字段信息,包括:商品ID、店铺ID、店铺地址、店铺名称、商品名...

超人 ⋅ 2016/12/18 ⋅ 0

docker(19):压缩docker python 镜像大小,减少依赖

1,关于python镜像 使用python开发的时候遇到问题。 发现构建之后 镜像还是比较大的。想办法减少点文件啥的。 能让镜像小点,这样发布部署啥的都方便。 2,构建dockerfile python3 在构建pan...

freewebsys ⋅ 04/16 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Spring Cloud构建微服务架构—创建“服务注册中心”

创建一个基础的Spring Boot工程,命名为eureka-server,并在pom.xml中引入需要的依赖内容: <parent><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-par......

itcloud ⋅ 17分钟前 ⋅ 0

拖动

<!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title>event</title> <style> #box { width: 100px; height: 100px; background-color: aquamarine; position: absolute; } </style......

fyliujj ⋅ 19分钟前 ⋅ 0

es6 polyfill array

polyfill之javascript函数的兼容写法——Array篇 1. Array.isArray(obj) if (!Array.isArray) { Array.isArray = function(arg) { return Object.prototype.toString.call(arg) === '[objec......

球球 ⋅ 21分钟前 ⋅ 0

kibana启动异常

检查一下:kibana.yml 每一对key:value中,冒号之后应有空格。

增删改查1 ⋅ 23分钟前 ⋅ 0

js修改img的src属性刷新图片时的图片缓存问题

问题:上传一张图片,通过js更新src属性刷新图片使其即时显示时, 当img的src当前的url与上次地址无变化时(只更改图片,名称不变,不同图片名称相同)图片不变化(仍显示原来的图片) 但通过...

HaierBrother ⋅ 23分钟前 ⋅ 0

Mysql

1.Jdbc Url 设置allowMultiQueries为true和false mysql的批量更新是要我们主动去设置的, 就是在数据库的连接url上设置一下,加上* &allowMultiQueries=true *即可。 参数名称 参数说明 缺省...

瑟青豆 ⋅ 27分钟前 ⋅ 0

mysql导出导入表结构与数据

当我们需要进行数据迁移时,mysql自带的mysqldump会是最好的方式。 1.导出某张表的结构和数据 首先,我们应当使用服务器,打开终端,连接到所需要导出的表所在的服务器上。执行命令: mysqld...

hengbao5 ⋅ 27分钟前 ⋅ 0

世界杯也走向“比拼”大数据的时代

《日本经济新闻》6月19日报道称,俄罗斯足球世界杯已于6月14日揭开战幕。作为第21次举办的足球世界杯,如何活用大数据有可能成为决定各支球队胜负的重要因素。从对阵球队的分析到战术建议,还...

加米谷大数据 ⋅ 27分钟前 ⋅ 0

金额转为千分制,金额转中文大写

金额转关为大写 /** 数字金额大写转换(可以处理整数,小数,负数) */ function digitUppercase(n){ if(!n) reutrn "" let fraction = ['角', '分']; let digit = [...

YXMBetter ⋅ 30分钟前 ⋅ 0

开发利器JRebel部署SpringBoot项目

不要以为年纪轻轻就跌倒了人生谷底,未来还有更大的下降空间等着你。 idea下载和安装JRebel 激活JRebel 访问https://my.jrebel.com/ 使用facebook或twitter登录 勾选 Build project automati...

郑龙飞 ⋅ 36分钟前 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部