文档章节

数据归一化方法

marjey
 marjey
发布于 2017/08/19 15:12
字数 205
阅读 2
收藏 0

sklearn提供了一些数据正规化的方法。

from sklearn.preprocessing import MinMaxScaler

X_transformed = MinMaxScaler().fit_transform(X)

还有很多其他类似的规范化方法,对于其他类型的应用和特征类型会很有用。

 为使每条数据各特征值的和为1,使用sklearn.preprocessing.Normalizer。

 为使各特征的均值为0,方差为1,使用sklearn.preprocessing.StandardScaler, 常用作规范化的基准。  为将数值型特征的二值化,使用sklearn.preprocessing.Binarizer,大于阈值的为 1,反之为0。

或者自己实现该方法。

如:

#-*- coding: utf-8 -*-
#数据规范化
import pandas as pd
import numpy as np

datafile = '../data/normalization_data.xls' #参数初始化
data = pd.read_excel(datafile, header = None) #读取数据

(data - data.min())/(data.max() - data.min()) #最小-最大规范化
(data - data.mean())/data.std() #零-均值规范化
data/10**np.ceil(np.log10(data.abs().max())) #小数定标规范化

© 著作权归作者所有

共有 人打赏支持
marjey
粉丝 3
博文 173
码字总数 139219
作品 0
昆明
私信 提问
机器学习中的归一化方法(Deep learning Normalization Method)

机器学习、数据挖掘工作中,数据前期准备、数据预处理过程、特征提取等几个步骤几乎要花费数据工程师一半的工作时间。同时,数据预处理的效果也直接影响了后续模型能否有效的工作。然而,目前...

weixin_38208741
04/18
0
0
可能是最全的数据标准化教程(附python代码)

什么是数据标准化(归一化) 数据标准化(归一化)处理是数据挖掘的一项基础工作,不同评价指标往往具有不同的量纲和量纲单位,当各指标间的水平相差很大时,如果直接用原始指标值进行分析,...

繁著
2017/11/20
0
0
opencv归一化函数normalize详解

opencv 2 归一化函数normalize详解 1. 归一化定义与作用 归一化就是要把需要处理的数据经过处理后(通过某种算法)限制在你需要的一定范围内。首先归一化是为了后面数据处理的方便,其次是保...

Joe科技
2017/01/15
0
0
超越何恺明等组归一化 Group Normalization,港中文团队提出自适配归一化取得突破

雷锋网(公众号:雷锋网) AI 科技评论:港中文最新论文研究表明目前的深度神经网络即使在人工标注的标准数据库中训练(例如 ImageNet),性能也会出现剧烈波动。这种情况在使用少批量数据更新...

AI科技评论
07/12
0
0
Regularizing your neural network

Regularizing 如果怀疑神经网络过度拟合了数据,即存在高方差问题那么最先想到的方法可能就是正则化,另一个解决高方差的方法就是准备更多数据,这也是非常可靠的办法,但你可能无法时时准备...

徐凯_xp
2017/12/21
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Java 如何实现线程间通信?

正常情况下,每个子线程完成各自的任务就可以结束了。不过有的时候,我们希望多个线程协同工作来完成某个任务,这时就涉及到了线程间通信了。 本文涉及到的知识点: thread.join(), object....

颖辉小居
31分钟前
2
0
记一次阿里云服务器运行慢排除

公司测试环境用的阿里云服务器+docker部署的,一共跑了14个项目。之前几个月一直OK,最近几天突然很卡很慢。刚开始以为是项目问题,又是扩大内存,又是清减插件,甚至停了一半项目。结果CPU...

李玉长
31分钟前
2
0
统一客服消息返回错误:{"errcode":43004,"errmsg":"require subscribe hint: [9Vv08633952]"}

公众号或者小程序发送客服消息错误: {"errcode":43004,"errmsg":"require subscribe hint: [9Vv08633952]"} 场景:小程序使用公众号的服务消息,推送消息,如果接收人没有关注公众号,就会出...

tianma3798
43分钟前
1
0
Rainbond V5.0 Beta公测公告

Rainbond支撑企业应用的开发、架构、交付和运维的全流程,通过“无侵入”架构无缝衔接各类企业应用,底层资源可以对接和管理IaaS、虚拟机和物理服务器 Rainbond V5.0即日起开启Beta版本公测,...

好雨云帮
今天
2
0
Word Pattern(leetcode290)

Given a pattern and a string str, find if str follows the same pattern. Here follow means a full match, such that there is a bijection between a letter in pattern and a non-empt......

woshixin
今天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部