文档章节

关于机器学习中特征工程的一些实战经验与可直接利用代码的分享

WYF_DATA
 WYF_DATA
发布于 2017/08/02 11:08
字数 850
阅读 302
收藏 0

特征选择(分为两类,一类根据自身信息选择,一类借助模型选择)

 

1.根据特征自身信息方差选择

选出方差阈值大于0.9的特征, X 为特征矩阵

From  sklearn.feature_selection  import  VarianceThreshold

threshold = 0.90

vt = VarianceThreshold().fit(X)

# Find feature names

feat_var_threshold = data.columns[vt.variances_ > threshold * (1-threshold)]

print(feat_var_threshold)

 

2.根据模型算法来选择特征,例如使用RF

model = RandomForestClassifier()

model.fit(X, Y)

feature_imp=pd.DataFrame(model.feature_importances_,index=X.columns,columns=["importance"])

feat_imp_20 = feature_imp.sort_values("importance", ascending=False).head(20).index

print(feat_imp_20)

 

将树结构模型评估出来的特征重要度可视化

names=list(x_train.columns)

# sort importances

indices = np.argsort(model.feature_importances_)

# plot as bar chart

plt.barh(np.arange(len(names)), model.feature_importances_[indices])

plt.yticks(np.arange(len(names)) + 0.25, np.array(names)[indices])

_ = plt.xlabel('Relative importance')

#plt.show()

 

3.通过SelectKBest  chi2 test来选择特征,但是特征的取值必须为正

from sklearn.feature_selection import VarianceThreshold, RFE, SelectKBest, chi2

from sklearn.preprocessing import MinMaxScaler

X_minmax = MinMaxScaler(feature_range=(0,1)).fit_transform(X)

X_scored = SelectKBest(score_func=chi2, k='all').fit(X_minmax, Y)

feature_scoring = pd.DataFrame({'feature': X.columns, 'score': X_scored.scores_})

feat_scored_20=feature_scoring.sort_values('score',ascending=False).head(20)['feature'].values

print(feat_scored_20)

 

 

4.应用某一种模型来选择特征

借用某个模型,来选出超过阈值的特征,可以指定你需要的特征数或者阈值

from sklearn.datasets import load_boston

from sklearn.feature_selection import SelectFromModel

from sklearn.linear_model import LassoCV

# Load the boston dataset.

boston = load_boston()

X, y = boston['data'], boston['target']

# We use the base estimator LassoCV since the L1 norm promotes sparsity of features.

clf = LassoCV()

# Set a minimum threshold of 0.25

sfm = SelectFromModel(clf, threshold=0.25)

sfm.fit(X, y)

n_features = sfm.transform(X).shape[1]

1.          # Reset the threshold till the number of features equals two.

# Note that the attribute can be set directly instead of repeatedly

# fitting the metatransformer.

while n_features > 2:

sfm.threshold += 0.1

X_transform = sfm.transform(X)

n_features = X_transform.shape[1]

# Plot the selected two features from X.

plt.title(

"Features selected from Boston using SelectFromModel with "

"threshold %0.3f." % sfm.threshold)

feature1 = X_transform[:, 0]

feature2 = X_transform[:, 1]

plt.plot(feature1, feature2, 'r.')

plt.xlabel("Feature number 1")

plt.ylabel("Feature number 2")

plt.ylim([np.min(feature2), np.max(feature2)])

plt.show()

 

 

 

 

5. RFE with model

借用一个线性模型,利用给予每个特征的系数权重的大小比较,帅选出最优的特征

即递归特征消除的方法,反复构建模型训练,选出最好的特征,然后拿出来放在一边,继续筛选剩下的特征,择优,逐步择优,对特征进行排序。

from sklearn.feature_selection import RFE

rfe = RFE(LogisticRegression(), 20)

rfe.fit(X, Y)

feature_rfe_scoring = pd.DataFrame({

        'feature': X.columns,

        'score': rfe.ranking_

    })

feat_rfe_20 = feature_rfe_scoring[feature_rfe_scoring['score'] == 1]['feature'].values

print(feat_rfe_20)

 

 

 

6.稳定性特征选择方法

是一基于二次抽样和特征选择算法相结合的方法,主要思想是在不同的数据子集以及特征子集中运行算法,不断重复,每一次利用模型的反馈选中好的特征,最后可以统计每个特征被选为优秀特征的次数除以所在特征集被用到的次数作为分数,选出好的特征。

 

可以利用一下模型实现:
from sklearn.linear_model import RandomizedLogisticRegression as RLR

Model=RLR(C=1, scaling=0.5,

sample_fraction=0.75,

n_resampling=200, selection_threshold=0.25)

RLR.fit(x,y)

Print(RLR.get_support())

 

7.将各个方法选出来的特征融合在一起

features = np.hstack([

        feat_var_threshold,

        feat_imp_20,

        feat_scored_20,

        feat_rfe_20

    ])

features = np.unique(features)

print(features)

                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    

 

 

6.特征评估

如果将特征进行分组后,例如数值型特征以及字符型特征,或者稀疏型与稠密型特征,可以分别用不同的特征集合训练模型,考察模型的效果

比如有人说稠密型的特征比较适合数模型,例如gbdt,xgb,稀疏特征则适合于线性模型,例如lr,lasso。

© 著作权归作者所有

共有 人打赏支持
WYF_DATA
粉丝 1
博文 4
码字总数 5290
作品 0
私信 提问
统计思维如何帮助大数据应用从人工走向智能?(下)

作者介绍:蔡主希,目前就职于京东金融-金融科技业务部,哥大统计数据狗,京东金融算法工程狮,可代码可软文的非典型理科男一枚,知乎号: @JovialCai,数据森麟公众号(ID:shujusenlin)特邀...

天善智能
2018/10/15
0
0
机器学习实战(一)KNN算法:简单的数据分类和决策

说明:该案例来源 机器学习实战之KNN,里面有更详尽的KNN原理分析和案例实现流程详解,是一个关于机器学习实战的不错的学习资料,推荐一波。出于编程实践和机器学习算法梳理的目的,按照自己...

stayfoolish_fan
2018/05/13
0
0
面向机器学习:数据平台设计与搭建实践

机器学习作为近几年的一项热门技术,不仅凭借众多“人工智能”产品而为人所熟知,更是从根本上增能了传统的互联网产品。在近期举办的2018 ArchSummit全球架构师峰会上,个推首席数据架构师袁...

个推
2018/07/20
0
0
面向机器学习数据平台的设计与搭建

机器学习作为近几年的一项热门技术,不仅凭借众多“人工智能”产品而为人所熟知,更是从根本上增能了传统的互联网产品。在近期举办的2018 ArchSummit全球架构师峰会上,个推首席数据架构师袁...

个推
2018/07/17
0
0
机器学习实践心得:数据平台设计与搭建

机器学习作为近几年的一项热门技术,不仅凭借众多“人工智能”产品而为人所熟知,更是从根本上增能了传统的互联网产品。下文将基于本人所负责的个推大数据平台搭建工作,与大家分享个推数据平...

eva7
2018/07/17
0
0

没有更多内容

加载失败,请刷新页面

加载更多

vue 对对象的属性进行修改时,不能渲染页面 vue.$set()

我在vue里的方法里给一个对象添加某个属性时,我console.log出来的是已经更改的object ,但是页面始终没有变化 原因如下: **受现代 JavaScript 的限制 (而且 Object.observe 也已经被废弃),...

Js_Mei
今天
2
0
开始看《Java学习笔记》

虽然书买了很久,但一直没看。这其中也写过一些Java程序,但都是基于IDE的帮助和对C#的理解来写的,感觉不踏实。 林信良的书写得蛮好的,能够帮助打好基础,看得出作者是比较用心的。 第1章概...

max佩恩
昨天
12
0
Redux 三大原则

1.单一数据源 在传统的MVC架构中,我们可以根据需要创建无数个Model,而Model之间可以互相监听、触发事件甚至循环或嵌套触发事件,这些在Redux中都是不被允许的。 因为在Redux的思想里,一个...

wenxingjun
昨天
8
0
跟我学Spring Cloud(Finchley版)-12-微服务容错三板斧

至此,我们已实现服务发现、负载均衡,同时,使用Feign也实现了良好的远程调用——我们的代码是可读、可维护的。理论上,我们现在已经能构建一个不错的分布式应用了,但微服务之间是通过网络...

周立_ITMuch
昨天
5
0
XML

学习目标  能够说出XML的作用  能够编写XML文档声明  能够编写符合语法的XML  能够通过DTD约束编写XML文档  能够通过Schema约束编写XML文档  能够通过Dom4j解析XML文档 第1章 xm...

stars永恒
昨天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部