文档章节

python re正则表达式模拟淘宝搜索商品信息

宝茜滴老公
 宝茜滴老公
发布于 2017/09/11 16:44
字数 994
阅读 953
收藏 31

1.开始前准备

1.1 python3,本文代码使用Python3来写。没有安装Python3的童鞋请先安装Python3哦

1.2 requests库,Requests 是用Python语言编写,基于 urllib,采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便,可以节约我们大量的工作,完全满足 HTTP 测试需求。

下载方法:

pip install requests

1.3 pycharm,一款功能强大的PythonIDE!下载官方版本后,使用license sever免费使用(同系列产品类似),具体参照http://www.cnblogs.com/hanggegege/p/6763329.html

2.爬取分析

我们的目标是实现一个能够代替淘宝搜索获取商品信息的脚本,那么我们先来分析分析具体应该如何实现吧!

我们尝试一下通过网页上的“搜索”按钮来获取一些信息。我们随便输入一个商品名称:电脑

重复几次相同操作查询不同名称商品后,我们发现了一些规律,通过观察url参数我们发现,只要在https://s.taobao.com/search?q=后面加上你需要查询的商品名称就能获取你想要的淘宝商品信息了!我们就以这个为突破口,去写目标脚本吧!

3.代码过程分析与演示

首先我们导入所需要的库:

import requests
import re

我们先来看看电脑信息页面的源代码,去发现其中商品信息的规律,再用正则表达式去实施全局匹配,右键上图页面查看源代码:

仔细观察这段代码,通过对一组数据的分析得到:商品名称在raw_title当中,商品价格view_price当中,通过这个规律 ,我们来写两个正则表达式,匹配页面上的所有商品价格与名称!

我们先来写个函数获取网页代码信息:

def getHTMLText(url):
    try:
        r = requests.get(url)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text #这几行不懂的可以去查查requests库的文档哦
    except:
        return ""

接着,我们再写个函数把获取商品信息:

def parsePage(ilt, html):
    try:
        plt = re.findall(r'\"view_price\"\:\"[\d\.]*\"', html)  #本文代码的精髓就在这两行了
        tlt = re.findall(r'\"raw_title\"\:\".*?\"', html)
        for i in range(len(plt)):
            price = eval(plt[i].split(':')[1])
            title = eval(tlt[i].split(':')[1])
            ilt.append([price, title])
    except:
        print("")

最后,我们需要写个函数把商品信息列出来:

def printGoodsList(ilt):
    tplt = "{:4}\t{:8}\t{:16}"
    print(tplt.format("序号", "价格", "商品名称"))
    count = 0
    for g in ilt:
        count = count + 1
        print(tplt.format(count, g[0], g[1]))

现在我们来写个main()函数来测试我们的代码吧!

def main():
    goods = input('请输入要查找的商品名称:')
    depth = 3             #爬取的页码深度,可以自己调哦
    start_url = 'https://s.taobao.com/search?q=' + goods
    infoList = []
    for i in range(depth):
        try:
            url = start_url + '&s=' + str(44 * i)  #去翻页看看url的变化就知道为什么这么些了
            html = getHTMLText(url)
            parsePage(infoList, html)
        except:
            continue
    printGoodsList(infoList)

项目完整代码:

import requests
import re
def getHTMLText(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""
def parsePage(ilt, html):
    try:
        plt = re.findall(r'\"view_price\"\:\"[\d\.]*\"', html)
        tlt = re.findall(r'\"raw_title\"\:\".*?\"', html)
        for i in range(len(plt)):
            price = eval(plt[i].split(':')[1])
            title = eval(tlt[i].split(':')[1])
            ilt.append([price, title])
    except:
        print("")
def printGoodsList(ilt):
    tplt = "{:4}\t{:8}\t{:16}"
    print(tplt.format("序号", "价格", "商品名称"))
    count = 0
    for g in ilt:
        count = count + 1
        print(tplt.format(count, g[0], g[1]))
def main():
    goods = input('请输入要查找的商品名称:')
    depth = 3
    start_url = 'https://s.taobao.com/search?q= 

' + goods
    infoList = []
    for i in range(depth):
        try:
            url = start_url + '&s=' + str(44 * i)
            html = getHTMLText(url)
            parsePage(infoList, html)
        except:
            continue
    printGoodsList(infoList)
main()

我们来看看运行效果图:

大功告成!

(ps:本文代码参照中国慕课网课程)

谢谢观看!

© 著作权归作者所有

共有 人打赏支持
宝茜滴老公
粉丝 6
博文 4
码字总数 3537
作品 0
南昌
程序员
加载中

评论(2)

qycms_cn
qycms_cn

引用来自“洋葱拉面”的评论

大量稳定供应国内个人终端代理IP,可对公签合同,价格含税。

寻合作对象:大数据爬虫、自媒体补量、广告联盟。Q3500891807
真及时,精准投放。
洋葱拉面
大量稳定供应国内个人终端代理IP,可对公签合同,价格含税。

寻合作对象:大数据爬虫、自媒体补量、广告联盟。Q3500891807
python 爬虫抓取心得分享

/ author: insun title:python 爬虫抓取心得分享 blog:http://yxmhero1989.blog.163.com/blog/static/112157956201311821444664/ / 0x1.urllib.quote('要编码的字符串') 如果你要在url请求里......

quanwei9958
2014/07/25
0
0
使用 Python 全栈打造淘宝客微信机器人(上)

本篇 将会涉及: Python 环境下淘宝客 API 的使用; 使用 Python 第三方模块 itchat 实现微信的登录的自动回复操作; PyQt5 的布局管理与多线程应用 1 、前言 1.1、什么是淘宝客 相信很多人都...

柯西带你学编程
05/21
0
0
Python3爬虫视频学习教程

大家好哈,现在呢静觅博客已经两年多啦,可能大家过来更多看到的是爬虫方面的博文,首先非常感谢大家的支持,希望我的博文对大家有帮助! 最近,主要的任务就是开发性感美女图片大全,使用p...

yangjiyue0520
2017/11/18
0
0
python爬取淘宝商品信息并加入购物车

先说一下最终要达到的效果:谷歌浏览器登陆淘宝后,运行python项目,将任意任意淘宝商品的链接传入,并手动选择商品属性,输出其价格与剩余库存,然后选择购买数,自动加入购物车。 在开始爬...

oj8kay
2017/06/19
0
3
2个月精通Python爬虫——3大爬虫框架+6场实战+分布式爬虫,包教包会

阿里云大学在线工作坊上线,原理精讲+实操演练,让你真正掌握云计算、大数据技能。 在第一批上线的课程中,有一个Python爬虫的课程,畅销书《精通Python网络爬虫》作者韦玮,带你两个月从入门...

云木西
06/27
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

arts-week5

Algorithm 824. Goat Latin - LeetCode 152. Maximum Product Subarray - LeetCode 110. Balanced Binary Tree - LeetCode 67. Two Sum II - Input array is sorted - LeetCode 665. Non-dec......

yysue
21分钟前
0
0
iOS开发之AddressBook框架详解

iOS开发之AddressBook框架详解 一、写在前面 首先,AddressBook框架是一个已经过时的框架,iOS9之后官方提供了Contacts框架来进行用户通讯录相关操作。尽管如此,AddressBook框架依然是一个非...

珲少
51分钟前
1
0
两年摸爬滚打 Spring Boot,总结了这 16 条最佳实践

Spring Boot是最流行的用于开发微服务的Java框架。在本文中,我将与你分享自2016年以来我在专业开发中使用Spring Boot所采用的最佳实践。这些内容是基于我的个人经验和一些熟知的Spring Boot...

Java填坑之路
今天
4
0
《Spring5学习》04 - 面向切面编程

一、Spring面向切面编程的基本概念 面向切面编程(即AOP):把项目中需要再多处使用的功能比如日志、安全和事务等集中到一个类中处理,而不用在每个需要用到该功能的地方显式调用。 横切关注...

老韭菜
今天
2
0
day61-20180819-流利阅读笔记

跑道没了,它们还在跑:澳门赛狗业的遗孤 Daniel 2018-08-19 1.今日导读 相信你早就知道香港有个赛马会,可是你听说过香港的邻居澳门原本有个赛狗会吗?其实,对于澳门人来说,赛狗这项活动历...

aibinxiao
今天
15
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部