文档章节

Python爬虫:抓取手机APP的数据

j_hao104
 j_hao104
发布于 2016/01/20 16:13
字数 682
阅读 18602
收藏 321
点赞 24
评论 21

1、抓取APP数据包

    方法详细可以参考这篇博文:http://my.oschina.net/jhao104/blog/605963

    得到超级课程表登录的地址:http://120.55.151.61/V2/StudentSkip/loginCheckV4.action

    表单:

表单中包括了用户名和密码,当然都是加密过了的,还有一个设备信息,直接post过去就是。

    另外必须加header,一开始我没有加header得到的是登录错误,所以要带上header信息。

 


2、登录

登录代码:

import urllib2
from cookielib import CookieJar
loginUrl = 'http://120.55.151.61/V2/StudentSkip/loginCheckV4.action'
headers = {
    'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
    'User-Agent': 'Dalvik/1.6.0 (Linux; U; Android 4.1.1; M040 Build/JRO03H)',
    'Host': '120.55.151.61',
    'Connection': 'Keep-Alive',
    'Accept-Encoding': 'gzip',
    'Content-Length': '207',
    }
loginData = 'phoneBrand=Meizu&platform=1&deviceCode=868033014919494&account=FCF030E1F2F6341C1C93BE5BBC422A3D&phoneVersion=16&password=A55B48BB75C79200379D82A18C5F47D6&channel=MXMarket&phoneModel=M040&versionNumber=7.2.1&'
cookieJar = CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookieJar))
req = urllib2.Request(loginUrl, loginData, headers)
loginResult = opener.open(req).read()
print loginResult

 

登录成功 会返回一串账号信息的json数据

和抓包时返回数据一样,证明登录成功

 


3、抓取数据

    用同样方法得到话题的url和post参数

    做法就和模拟登录网站一样。详见:http://my.oschina.net/jhao104/blog/547311

    下见最终代码,有主页获取和下拉加载更新。可以无限加载话题内容。

 

#!/usr/local/bin/python2.7
# -*- coding: utf8 -*-
"""
  超级课程表话题抓取
"""
import urllib2
from cookielib import CookieJar
import json


''' 读Json数据 '''
def fetch_data(json_data):
    data = json_data['data']
    timestampLong = data['timestampLong']
    messageBO = data['messageBOs']
    topicList = []
    for each in messageBO:
        topicDict = {}
        if each.get('content', False):
            topicDict['content'] = each['content']
            topicDict['schoolName'] = each['schoolName']
            topicDict['messageId'] = each['messageId']
            topicDict['gender'] = each['studentBO']['gender']
            topicDict['time'] = each['issueTime']
            print each['schoolName'],each['content']
            topicList.append(topicDict)
    return timestampLong, topicList


''' 加载更多 '''
def load(timestamp, headers, url):
    headers['Content-Length'] = '159'
    loadData = 'timestamp=%s&phoneBrand=Meizu&platform=1&genderType=-1&topicId=19&phoneVersion=16&selectType=3&channel=MXMarket&phoneModel=M040&versionNumber=7.2.1&' % timestamp
    req = urllib2.Request(url, loadData, headers)
    loadResult = opener.open(req).read()
    loginStatus = json.loads(loadResult).get('status', False)
    if loginStatus == 1:
        print 'load successful!'
        timestamp, topicList = fetch_data(json.loads(loadResult))
        load(timestamp, headers, url)
    else:
        print 'load fail'
        print loadResult
        return False

loginUrl = 'http://120.55.151.61/V2/StudentSkip/loginCheckV4.action'
topicUrl = 'http://120.55.151.61/V2/Treehole/Message/getMessageByTopicIdV3.action'
headers = {
    'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
    'User-Agent': 'Dalvik/1.6.0 (Linux; U; Android 4.1.1; M040 Build/JRO03H)',
    'Host': '120.55.151.61',
    'Connection': 'Keep-Alive',
    'Accept-Encoding': 'gzip',
    'Content-Length': '207',
    }

''' ---登录部分--- '''
loginData = 'phoneBrand=Meizu&platform=1&deviceCode=868033014919494&account=FCF030E1F2F6341C1C93BE5BBC422A3D&phoneVersion=16&password=A55B48BB75C79200379D82A18C5F47D6&channel=MXMarket&phoneModel=M040&versionNumber=7.2.1&'
cookieJar = CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookieJar))
req = urllib2.Request(loginUrl, loginData, headers)
loginResult = opener.open(req).read()
loginStatus = json.loads(loginResult).get('data', False)
if loginResult:
    print 'login successful!'
else:
    print 'login fail'
    print loginResult

''' ---获取话题--- '''
topicData = 'timestamp=0&phoneBrand=Meizu&platform=1&genderType=-1&topicId=19&phoneVersion=16&selectType=3&channel=MXMarket&phoneModel=M040&versionNumber=7.2.1&'
headers['Content-Length'] = '147'
topicRequest = urllib2.Request(topicUrl, topicData, headers)
topicHtml = opener.open(topicRequest).read()
topicJson = json.loads(topicHtml)
topicStatus = topicJson.get('status', False)
print topicJson
if topicStatus == 1:
    print 'fetch topic success!'
    timestamp, topicList = fetch_data(topicJson)
    load(timestamp, headers, topicUrl)

结果:

转载请注明来源:http://my.oschina.net/jhao104/blog/606922

© 著作权归作者所有

共有 人打赏支持
j_hao104
粉丝 195
博文 66
码字总数 100490
作品 2
程序员
加载中

评论(21)

j_hao104
j_hao104

引用来自“灰太狼sama”的评论

楼主,我按照你代码操作后,返回的JSON数据怎么转化成中文我刚入门?
你用的是python2吧?py2的字典中文显示的是编码格式,去get出来就是中文,只是看着不是。
如果你想print出来也是中文的话可用print json.dumps(dict_obj, ensure_ascii=False)

当然这些的前提都是你的代码没有问题也不是编码问题。。。。你这么直接问没有贴信息我也很难猜:sweat:
灰太狼sama
楼主,我按照你代码操作后,返回的JSON数据怎么转化成中文我刚入门?
改着名儿玩
改着名儿玩
实质上只是python抓取数据
分流砥柱
分流砥柱

引用来自“ExtremeTalk”的评论

引用来自“ExtremeTalk”的评论

得先知道地址才行

引用来自“j_hao104”的评论

所以得先抓包,我贴了抓包方法的呀
要是能在Android里直接执行抓地址,解密,抓数据就最好了,加油!

地址有只要有app就能搞到,无论是抓包,还是反编译都不难吧。
a
askjc
[免费福利1枚]领极客学院30天的VIP,平时30元,现在免费。可以看全站7500节视频课程,想学编程的小伙伴速来。时间有限:http://e.jikexueyuan.com/invite/index.html?ZnJvbV9jb2RlPUVIRjdXUCZ1bmFtZT1qaWtlXzE3NjY0NzYmY2hhbm5lbD1pbnZpdGVfc2hhcmVidXR0b25fZGlyZWN0MDQ=
richard008
richard008
想起了微信上那个可以清理僵尸朋友的python代码。
ytesgdsga
ytesgdsga
明天看
打雷要下雨LEO
打雷要下雨LEO
这个app有什么难度,现在大部分公司https了
smarthjx636
smarthjx636
3年前,就会了
Poko
Poko
Mark
Python获取全网电影,深夜有小电影看难道不是你学习的初衷吗?

你以为这是黑客?NO,这只是简单的Python爬虫。如今各种各样的影视Vip收费出现在我们的视野中,对于我们来说也许是一部期待已久的电影电视,可是对于网站,App开发人员来说只是一组数据,为了...

柯西带你学编程 ⋅ 06/05 ⋅ 0

5.2 高富帅python-人工智能时代

小奈:其实你们写的代码好像有不同派系的? 大仁:你是说编程语言?我来介绍下吧,我们来看下GitHub(程序员同城交友、代码协作平台)的数据,看下各种编程语言 Pull Requst的数据, Javascr...

产品经理的技术课堂 ⋅ 05/11 ⋅ 0

一个月入门Python爬虫,快速获取大规模数据

数据是创造和决策的原材料,高质量的数据都价值不菲。而利用爬虫,我们可以获取大量的价值数据,经分析可以发挥巨大的价值,比如: 豆瓣、知乎:爬取优质答案,筛选出各话题下热门内容,探索...

Python开发者 ⋅ 04/25 ⋅ 0

万方数据库,文献下载的准备,文献信息收集

想批量下载万方数据库的文献,看了一下其html源码不好玩啊. 其一篇文献的下载的链接. 下 载 onclick 事件 onclick 事件会在对象被点击时发生。 请注意, oncli...

东风冷雪 ⋅ 05/23 ⋅ 0

谁说小白不能做项目?Python大咖手把手教你采集拉勾网!

全文简介 本文是先采集拉勾网上面的数据,采集的是Python岗位的数据,然后用Python进行可视化。主要涉及的是爬虫&数据可视化的知识。 爬虫部分 先用Python来抓取拉勾网上面的数据,采用的是简...

Python学习 ⋅ 03/08 ⋅ 0

我用 Python 爬取微信好友,最后发现一个大秘密

前言 你身处的环境是什么样,你就会成为什么样的人。现在人们日常生活基本上离不开微信,但微信不单单是一个即时通讯软件,微信更像是虚拟的现实世界。你所处的朋友圈是怎么样,慢慢你的思想...

j2iayu7y ⋅ 05/08 ⋅ 0

高级爬虫(一):Scrapy爬虫框架的安装

Hi 小伙伴们差不多有半个月没有更新干货了,一直有点忙,而且这中间还有曲折过程,也就没有更新文章. 但今天无论如何也要更新一篇文章,接下来是爬虫高级篇重点讲解的地方! 最近会连载Scrap...

Python绿色通道 ⋅ 04/22 ⋅ 0

Python3爬虫视频学习教程

大家好哈,现在呢静觅博客已经两年多啦,可能大家过来更多看到的是爬虫方面的博文,首先非常感谢大家的支持,希望我的博文对大家有帮助! 最近,主要的任务就是开发性感美女图片大全,使用p...

yangjiyue0520 ⋅ 2017/11/18 ⋅ 0

手把手教你写网络爬虫(1):网易云音乐歌单

原文出处:拓海 大家好,《手把手教你写网络爬虫》连载开始了!在笔者的职业生涯中,几乎没有发现像网络爬虫这样的编程实践,可以同时吸引程序员和门外汉的注意。本文由浅入深的把爬虫技术和...

拓海 ⋅ 04/27 ⋅ 0

详解Python开发的发展方向及其对应的薪资!

百度CEO曾表述:靠移动互联网的风口现已没有可能再出现独角兽了,由于市场现已进入了一个相对平稳的发展阶段,互联网人口渗透率现已超过了50%。而未来的机会在人工智能。确实互联网巨头公司在...

Python燕大侠 ⋅ 05/06 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

docker 安装confluence 6.3.4 破解

安装confluence docker run –name wiki -p 8099:8090 -d cptactionhank/atlassian-confluence 加挂载目录启动(方便日后备份用) docker run –name wiki -p 8099:8090 –link mysql-db:mysql......

谢思华 ⋅ 30分钟前 ⋅ 0

html中submit和button的区别(总结)

submit是button的一个特例,也是button的一种,它把提交这个动作自动集成了。 如果表单在点击提交按钮后需要用JS进行处理(包括输入验证)后再提交的话,通常都必须把submit改成button,即取...

临江仙卜算子 ⋅ 31分钟前 ⋅ 0

微信小程序组件化开发框架wepy 学习(三)

前言 组件引用、循环渲染、computed计算属性、watch监听 官方文档说的很清楚。基本照着看看就能理解,本篇重点说父组件子组件相互传值交互的问题。这里我感觉还是有点绕的。 Props传值 静态传...

NotFound403 ⋅ 33分钟前 ⋅ 0

vmware方式搭建hadoop-1.2.1 集群

Linux节点搭建 1、安装vmware 2、打开虚拟机,选择本地虚拟机文件(文章最后附件) 3、网络配置,删除vmnet8,增加一个vmnet8 4、选择桥接模式 5、再切换到net模式 6、修改文件: cd /etc/sy...

Prepared ⋅ 37分钟前 ⋅ 0

5.5 进入编辑模式 5.6 vim命令模式 5.7 vim实践

vim命令 编辑模式 i 在光标处插入 shfit+i 在行首插入 a在光标后面插入 shift+a在在行尾插入 o在光标行下面一行插入 shift+o在光标行上面插入 ESC退出编辑模式 命令模式 :q 退出 :wq 保存退出...

Linux_老吴 ⋅ 39分钟前 ⋅ 0

CSS 样式手册

CSS3 动画属性(Animation) 属性 描述 CSS @keyframes 规定动画。 3 animation 所有动画属性的简写属性,除了 animation-play-state 属性。 3 animation-name 规定 @keyframes 动画的名称。...

ZHAO_JH ⋅ 今天 ⋅ 0

一个学渣的阿里之路

前言 最近有些朋友在面试阿里,加上 Java-Interview 项目的原因也有小伙伴和我讨论,近期也在负责部门的招牌,这让我想起年初那段长达三个月的奇葩面试经历。 本来没想拿出来说的,毕竟最后也...

crossoverJie ⋅ 今天 ⋅ 4

vim编辑模式、命令模式

编辑模式 vim要从一般模式进入编辑模式只要按字母 i 、I、a、A、o、O键就可以了 要从编辑模式回到一般模式按键盘上的Esc键即可。 按键 作用 i 在当前字符前插入 I 在光标所在行的行首插入 o ...

黄昏残影 ⋅ 今天 ⋅ 0

OSChina 周五乱弹 —— 如果有一天不当程序员了

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @guanglun :分享off的单曲《我唱情歌给你听》 《我唱情歌给你听》- off 手机党少年们想听歌,请使劲儿戳(这里) @小小编辑 :#如果不做程序...

小小编辑 ⋅ 今天 ⋅ 13

从 Confluence 5.3 及其早期版本中恢复空间

如果你需要从 Confluence 5.3 及其早期版本中的导出文件恢复到晚于 Confluence 5.3 的 Confluence 中的话。你可以使用临时的 Confluence 空间安装,然后将这个 Confluence 安装实例升级到你现...

honeymose ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部