文档章节

pandas 笔记

pior
 pior
发布于 2016/01/29 21:59
字数 334
阅读 74
收藏 3
点赞 1
评论 0

读取一个表格数据

数据格式如:

1::1193::5::978300760
1::661::3::978302109
1::914::3::978301968
1::3408::4::978300275
1::2355::5::978824291
1::1197::3::978302268
1::1287::5::978302039
1::2804::5::978300719
1::594::4::978302268
1::919::4::978301368
rnames = ['user_id', 'movie_id', 'rating', 'timestamp']
ratings = pd.read_table('ml-1m/ratings.dat', sep='::', header=None, names=rnames, engine='python')

rnames为表格数据的列名,sep为分隔符

筛选数据行

ratings[:5]

横向合并数据表

pd.merge(ratings, users)

聚合数据

data.pivot_table('rating',index='title',  columns='gender', aggfunc='mean')

将data中的,相同title的行中的rating字段,分别计算不同gender的mean值,mean为平均值(std为标准差)

分类记数

data.groupby('title').size()

筛选数据

ratings_index = ratings_by_title.index[ratings_by_title >= 250]//得到下标值
mean_data = mean_data.ix[ratings_index]//按下标得到新的数据

数据排序

mean_data.sort_values(by='F', ascending=False)

by为指定列名

计算出新数据列

mean_data['diff'] = mean_data['M'] - mean_data['F']

数据反序

sort_by_diff[::-1]

分类求和

names1880.groupby('sex').births.sum()

以sex列分类后, 将births字段数据求和.

读取csv

Mary,F,7065
Anna,F,2604
Emma,F,2003
Elizabeth,F,1939
Minnie,F,1746
Margaret,F,1578
Ida,F,1472
Alice,F,1414
Bertha,F,1320
Sarah,F,1288
names1880 = pd.read_csv('./yob1880.txt', names=['name', 'sex', 'births'])

names指定数据的列名

纵向合并数据

pieces = []
pieces.append(names1880)
names1881 = pd.read_csv('./yob1881.txt', names=['name', 'sex', 'births'])
names1881['year']=1881
pieces.append(names1881)
names = pd.concat(pieces,ignore_index=True)

转换数据为浮点数

用于整数的除法(python3不用)

births.astype(float)









© 著作权归作者所有

共有 人打赏支持
pior
粉丝 25
博文 151
码字总数 22496
作品 0
济南
高级程序员
Pandas学习(二)——双色球开奖数据分析

学习笔记汇总 学习笔记汇总 Pandas学习(一)–数据的导入 pandas学习(二)–双色球数据分析 pandas学习(三)–NAB球员薪资分析 pandas学习(四)–数据的归一化 本章主要利用双色球开奖数...

hjxzb ⋅ 2017/08/26 ⋅ 0

python执行各种sql语句,让你分析数据更简洁

由于许多潜在的pandas用户对SQL有一定的了 解 ,因此本页旨在提供一些使用pandas来执行各种SQL操作的示例。 大部分的例子将利用在pandas测试中发现的数据集。我们将数据读入一个名为tips的D...

frbevrqbn4l ⋅ 2017/11/07 ⋅ 0

十分钟读懂python的“数据库”语言

JOIN可以用或执行。默认情况下, 将在其索引中加入DataFrame。每个方法都有参数,允许您指定要执行的联接类型(LEFT,RIGHT,INNER,FULL)或要联接的列(列名称或索引)。 假设我们有两个与...

frbevrqbn4l ⋅ 2017/11/09 ⋅ 0

[新手-数据分析师]pandas的学习笔记

pandas常用的函数有这些: pd.DataFrame pd.Series pd.read_csv pd.concat pd.Timestamp pd.to_datetime pd.date_range pd.index pd.merge 先从实际上能够用得到的函数开始学起走,然后遇到问...

inerds ⋅ 2016/11/22 ⋅ 0

实验楼21期--机器学习--信用卡持卡人风险预测

参加实验楼的楼赛21期,关于机器学习的, 我以前没怎么接触过,所以是临时在网上查找资料解答的. 如果有一些错误或者是不完善的地方,欢迎指出. 题目 介绍 题目提供一个来自某银行的真实数据集,...

mbinary ⋅ 05/27 ⋅ 0

DC学院爬虫学习笔记(二):初识爬虫

创建第一个实例: 使用urllib包获取百度首页信息: 使用Requests库获取百度首页信息: 爬虫三步走 爬虫第一步:使用requests获得数据: 1.导入requests 2.使用requests.get获取网页源码 爬虫...

kissjz ⋅ 02/22 ⋅ 0

pandas学习笔记D1

最近使用的是python3.6版本,发现使用read_csv()无法读取中文路径下的文件,今天终于解决。代码如下: import sys sys.getfilesystemencoding() sys._enablelegacywindowsfsencoding() sys....

EmilyForever18 ⋅ 2017/12/07 ⋅ 0

sk-learn 学习官方笔记1

加载示例数据集 scikit-learn提供了一些标准数据集,例如 用于分类的 虹膜和数字数据集和波士顿房价回归数据集。 在下文中,我们从shell中启动一个Python解释器,然后加载和数据集。我们的符...

qq_37634812 ⋅ 2017/12/18 ⋅ 0

[新手-数据分析师]numpy学习笔记(5th)

np.split(A,2,axis=1) 表示把A矩阵垂直方向上分割成2个,axis=1表示垂直方向上分割,axis=0表示水平方向上分割。 np.array_splist(A,3,axis=1) 表示在垂直方向上分割为3份,本函数用来不能均...

inerds ⋅ 2016/11/16 ⋅ 0

pandas基本操作

本文是学习mlcc 《 introtopandas》的所做笔记。 基本概念 Dataframe : 关系型数据表格,包含行和列 Series:列数据 创建数据 创建列数据 构建表数据 访问数据 从csv加载表 访问前几条 访问列...

robinfly ⋅ 03/04 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

mysql in action / alter table

change character set ALTER SCHEMA `employees` DEFAULT CHARACTER SET utf8mb4 DEFAULT COLLATE utf8mb4_general_ci ;ALTER TABLE `employees`.`t2` CHARACTER SET = utf8mb4 , COLLAT......

qwfys ⋅ 今天 ⋅ 0

Java 开发者不容错过的 12 种高效工具

Java 开发者常常都会想办法如何更快地编写 Java 代码,让编程变得更加轻松。目前,市面上涌现出越来越多的高效编程工具。所以,以下总结了一系列工具列表,其中包含了大多数开发人员已经使用...

jason_kiss ⋅ 昨天 ⋅ 0

Linux下php访问远程ms sqlserver

1、安装freetds(略,安装在/opt/local/freetds 下) 2、cd /path/to/php-5.6.36/ 进入PHP源码目录 3、cd ext/mssql进入MSSQL模块源码目录 4、/opt/php/bin/phpize生成编译配置文件 5、 . ./...

wangxuwei ⋅ 昨天 ⋅ 0

如何成为技术专家

文章来源于 -- 时间的朋友 拥有良好的心态。首先要有空杯心态,用欣赏的眼光发现并学习别人的长处,包括但不限于工具的使用,工作方法,解决问题以及规划未来的能力等。向别人学习的同时要注...

长安一梦 ⋅ 昨天 ⋅ 0

Linux vmstat命令实战详解

vmstat命令是最常见的Linux/Unix监控工具,可以展现给定时间间隔的服务器的状态值,包括服务器的CPU使用率,内存使用,虚拟内存交换情况,IO读写情况。这个命令是我查看Linux/Unix最喜爱的命令...

刘祖鹏 ⋅ 昨天 ⋅ 0

MySQL

查看表相关命令 - 查看表结构    desc 表名- 查看生成表的SQL    show create table 表名- 查看索引    show index from  表名 使用索引和不使用索引 由于索引是专门用于加...

stars永恒 ⋅ 昨天 ⋅ 0

easyui学习笔记

EasyUI常用控件禁用方法 combobox $("#id").combobox({ disabled: true }); ----- $("#id").combobox({ disabled: false}); validatebox $("#id").attr("readonly", true); ----- $("#id").r......

miaojiangmin ⋅ 昨天 ⋅ 0

金山WPS发布了Linux WPS Office

导读 近日,金山WPS发布了Linux WPS Office中文社区版新版本,支持大部分主流Linux系统,功能更加完善,兼容性、稳定性大幅度提升。本次更新WPS将首次在Linux提供专业办公文件云存储服务,实...

问题终结者 ⋅ 昨天 ⋅ 0

springboot2输出metrics到influxdb

序 本文主要研究一下如何将springboot2的metrics输出到influxdb maven <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-bo......

go4it ⋅ 昨天 ⋅ 0

微信小程序 - 选择图片显示操作菜单

之前我分享过选择图片这个文章,但是我在实际开发测试使用中发现一个问题在使用 wx.chooseImage 选择照片显示出第一格是拍照,后面是相册里的图片。这种实现之前说过了,效果如下。 但是你从...

hello_hp ⋅ 昨天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部