文档章节

Python爬虫:抓取手机APP的数据

j_hao104
 j_hao104
发布于 2016/01/20 16:13
字数 682
阅读 4.7W
收藏 321

1、抓取APP数据包

    方法详细可以参考这篇博文:http://my.oschina.net/jhao104/blog/605963

    得到超级课程表登录的地址:http://120.55.151.61/V2/StudentSkip/loginCheckV4.action

    表单:

表单中包括了用户名和密码,当然都是加密过了的,还有一个设备信息,直接post过去就是。

    另外必须加header,一开始我没有加header得到的是登录错误,所以要带上header信息。

 


2、登录

登录代码:

import urllib2
from cookielib import CookieJar
loginUrl = 'http://120.55.151.61/V2/StudentSkip/loginCheckV4.action'
headers = {
    'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
    'User-Agent': 'Dalvik/1.6.0 (Linux; U; Android 4.1.1; M040 Build/JRO03H)',
    'Host': '120.55.151.61',
    'Connection': 'Keep-Alive',
    'Accept-Encoding': 'gzip',
    'Content-Length': '207',
    }
loginData = 'phoneBrand=Meizu&platform=1&deviceCode=868033014919494&account=FCF030E1F2F6341C1C93BE5BBC422A3D&phoneVersion=16&password=A55B48BB75C79200379D82A18C5F47D6&channel=MXMarket&phoneModel=M040&versionNumber=7.2.1&'
cookieJar = CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookieJar))
req = urllib2.Request(loginUrl, loginData, headers)
loginResult = opener.open(req).read()
print loginResult

 

登录成功 会返回一串账号信息的json数据

和抓包时返回数据一样,证明登录成功

 


3、抓取数据

    用同样方法得到话题的url和post参数

    做法就和模拟登录网站一样。详见:http://my.oschina.net/jhao104/blog/547311

    下见最终代码,有主页获取和下拉加载更新。可以无限加载话题内容。

 

#!/usr/local/bin/python2.7
# -*- coding: utf8 -*-
"""
  超级课程表话题抓取
"""
import urllib2
from cookielib import CookieJar
import json


''' 读Json数据 '''
def fetch_data(json_data):
    data = json_data['data']
    timestampLong = data['timestampLong']
    messageBO = data['messageBOs']
    topicList = []
    for each in messageBO:
        topicDict = {}
        if each.get('content', False):
            topicDict['content'] = each['content']
            topicDict['schoolName'] = each['schoolName']
            topicDict['messageId'] = each['messageId']
            topicDict['gender'] = each['studentBO']['gender']
            topicDict['time'] = each['issueTime']
            print each['schoolName'],each['content']
            topicList.append(topicDict)
    return timestampLong, topicList


''' 加载更多 '''
def load(timestamp, headers, url):
    headers['Content-Length'] = '159'
    loadData = 'timestamp=%s&phoneBrand=Meizu&platform=1&genderType=-1&topicId=19&phoneVersion=16&selectType=3&channel=MXMarket&phoneModel=M040&versionNumber=7.2.1&' % timestamp
    req = urllib2.Request(url, loadData, headers)
    loadResult = opener.open(req).read()
    loginStatus = json.loads(loadResult).get('status', False)
    if loginStatus == 1:
        print 'load successful!'
        timestamp, topicList = fetch_data(json.loads(loadResult))
        load(timestamp, headers, url)
    else:
        print 'load fail'
        print loadResult
        return False

loginUrl = 'http://120.55.151.61/V2/StudentSkip/loginCheckV4.action'
topicUrl = 'http://120.55.151.61/V2/Treehole/Message/getMessageByTopicIdV3.action'
headers = {
    'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
    'User-Agent': 'Dalvik/1.6.0 (Linux; U; Android 4.1.1; M040 Build/JRO03H)',
    'Host': '120.55.151.61',
    'Connection': 'Keep-Alive',
    'Accept-Encoding': 'gzip',
    'Content-Length': '207',
    }

''' ---登录部分--- '''
loginData = 'phoneBrand=Meizu&platform=1&deviceCode=868033014919494&account=FCF030E1F2F6341C1C93BE5BBC422A3D&phoneVersion=16&password=A55B48BB75C79200379D82A18C5F47D6&channel=MXMarket&phoneModel=M040&versionNumber=7.2.1&'
cookieJar = CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookieJar))
req = urllib2.Request(loginUrl, loginData, headers)
loginResult = opener.open(req).read()
loginStatus = json.loads(loginResult).get('data', False)
if loginResult:
    print 'login successful!'
else:
    print 'login fail'
    print loginResult

''' ---获取话题--- '''
topicData = 'timestamp=0&phoneBrand=Meizu&platform=1&genderType=-1&topicId=19&phoneVersion=16&selectType=3&channel=MXMarket&phoneModel=M040&versionNumber=7.2.1&'
headers['Content-Length'] = '147'
topicRequest = urllib2.Request(topicUrl, topicData, headers)
topicHtml = opener.open(topicRequest).read()
topicJson = json.loads(topicHtml)
topicStatus = topicJson.get('status', False)
print topicJson
if topicStatus == 1:
    print 'fetch topic success!'
    timestamp, topicList = fetch_data(topicJson)
    load(timestamp, headers, topicUrl)

结果:

转载请注明来源:http://my.oschina.net/jhao104/blog/606922

© 著作权归作者所有

j_hao104

j_hao104

粉丝 218
博文 71
码字总数 111997
作品 2
成都
程序员
私信 提问
加载中

评论(21)

j_hao104
j_hao104 博主

引用来自“灰太狼sama”的评论

楼主,我按照你代码操作后,返回的JSON数据怎么转化成中文我刚入门?
你用的是python2吧?py2的字典中文显示的是编码格式,去get出来就是中文,只是看着不是。
如果你想print出来也是中文的话可用print json.dumps(dict_obj, ensure_ascii=False)

当然这些的前提都是你的代码没有问题也不是编码问题。。。。你这么直接问没有贴信息我也很难猜😓
灰太狼sama
楼主,我按照你代码操作后,返回的JSON数据怎么转化成中文我刚入门?
改着名儿玩
改着名儿玩
实质上只是python抓取数据
分流砥柱
分流砥柱

引用来自“ExtremeTalk”的评论

引用来自“ExtremeTalk”的评论

得先知道地址才行

引用来自“j_hao104”的评论

所以得先抓包,我贴了抓包方法的呀
要是能在Android里直接执行抓地址,解密,抓数据就最好了,加油!

地址有只要有app就能搞到,无论是抓包,还是反编译都不难吧。
a
askjc
[免费福利1枚]领极客学院30天的VIP,平时30元,现在免费。可以看全站7500节视频课程,想学编程的小伙伴速来。时间有限:http://e.jikexueyuan.com/invite/index.html?ZnJvbV9jb2RlPUVIRjdXUCZ1bmFtZT1qaWtlXzE3NjY0NzYmY2hhbm5lbD1pbnZpdGVfc2hhcmVidXR0b25fZGlyZWN0MDQ=
richard008
richard008
想起了微信上那个可以清理僵尸朋友的python代码。
ytesgdsga
ytesgdsga
明天看
打雷要下雨LEO
打雷要下雨LEO
这个app有什么难度,现在大部分公司https了
smarthjx636
smarthjx636
3年前,就会了
Poko
Poko
Mark
Python 爬虫工程师必学——App数据抓取实战

网盘下载 Python 爬虫工程师必学 App数据抓取实战 爬虫分为几大方向,WEB网页数据抓取、APP数据抓取、软件系统数据抓取。本课程主要为同学讲解如何用python实现App数据抓取,课程从开发环境搭...

qq__2304636824
2018/10/06
110
0
不要在爬虫犯罪的边缘疯狂试探!

来交代一下,你抓了多少数据,在哪抓的,干什么用了,看够在里面待几年...... 从去年开始我看到好几起因为抓取数据而遭遇诉讼,有的锒铛入狱,有的被处罚金,从案件的模糊描述来看,我看得后...

CSDN资讯
2019/01/23
0
0
《毒液》:用Fiddler+MongoDB抓取猫眼APP短评

欢迎关注天善智能,我们是专注于商业智能BI,人工智能AI,大数据分析与挖掘领域的垂直社区,学习,问答、求职一站式搞定! 对商业智能BI、大数据分析挖掘、机器学习,python,R等数据领域感兴...

天善智能
2018/12/03
0
0
Python制作王者荣耀出装小助手

本文转载至知乎ID:Charles(白露未晞)知乎个人专栏 导语 T_T并不玩这些游戏。。。 单纯来蹭个热点。。。 大概是因为蹭热点需要的技术含量比较低? 就这样吧~~~ 利用Python制作命令行版的王...

W3Cschool小编
2018/07/24
0
0
抖友福利!Python抓取抖音几万美女靓照,在小姐姐池里游泳

抖友自述: 自从头条大大发布抖音APP到现在,我本人也是日日抖音,夜夜抖音,过马路抖音,上厕所抖音......根本停不下来,各种风格的漂亮小姐姐在我脑海里打转。 虽然我看的多,但是我也深知...

Python新世界
2018/07/28
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Spring Batch 小任务(Tasklet)步骤

Chunk-Oriented Processing不是处理 step 的唯一方法。 考虑下面的一个场景,如果你仅仅需要调用一个存储过程,你可以在 ItemReader 中实现这个调用,然后在存储过程完成调用后返回 null。这...

honeymoose
16分钟前
8
0
Linux日志分析

1. Linux日志文件的类型 2. 系统服务日志 2.1 syslogd的简介 2.2 syslogd的配置和使用 2.3 日志的安全性设置 2.4 远程日志记录服务 3. 日志的轮替 3.1 logrotate简介 3.2 logrotate的配置 3....

JiaMing
昨天
38
0
Raspberry Pi 安装系统

下载系统 https://www.raspberrypi.org/downloads/ 使用卡刷工具 启动时开启 ssh 在卡的 boot 根目录创建 ssh 这个空文件,启动后就打开了 ssh 服务 ➜ boot touch ssh ssh 连接 在路由器里...

郭大鹏
昨天
84
0
5、SpringBoot的Profile功能

1.1、功能介绍 配置文件默认使用application.properties、application-default.properties如果需要指定其他配置文件,可以在命令行参数中指定,spring.profiles.default=xxx 激活profilespr...

神锋
昨天
32
0
设计模式-单例

单例模式分为三种:1.饿汉模式,2.懒汉模式,3.登记模式 饿汉模式:在自己被加载时就将自己实例化,即便加载器是静态的 package singleton; public class EagerSingleton { ...

yiduwangkai
昨天
44
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部