(原创)竞赛-关于房价预测模型的数据预分析1

2018/05/08 23:44
阅读数 73

注:该部分参考kaggle房价模型的大神Pedro Marcelino提供的kernel

在我们拿到数据后,应该预先分析一下数据。 ###1、总览数据

import numpy as np
import pandas as pd
df_train=pd.read_csv('train.csv')
df_train.head()#结果在这里不展示

通过以上可以对数据有大体的了解,会发现既有数值型数据,也有类别型数据。注意区别。

df_train.columns#展示各列的名字

###2、对特定列进行分析

df_train['SalePrice'].describe()#研究房价(target),即结果一列,会显示该列的均值 方差 标准差 四分位数 最值等信息

and

#对最后一列的数据做可视化
import seaborn as sns
import matplotlib.pyplot as plt
sns.distplot(df_train['SalePrice'])
plt.show()

#skewness and kurtosis
print("Skewness: %f" % df_train['SalePrice'].skew())
print("Kurtosis: %f" % df_train['SalePrice'].kurt())
#Skewness: 1.882876     Kurtosis: 6.536282

偏度(skewness)也称为偏态、偏态系数,是统计数据分布偏斜方向和程度的度量,是统计数据分布非对称程度的数字特征。 峰度(peakedness;kurtosis)又称峰态系数。表征概率密度分布曲线在平均值处峰值高低的特征数。直观看来,峰度反映了峰部的尖度。

###3、分析某个元素与结果列(saleprice)的关系

#scatter plot grlivarea/saleprice即研究某个特征与房价的关系
var = 'GrLivArea'
data = pd.concat([df_train['SalePrice'], df_train[var]], axis=1)
data.plot.scatter(x=var, y='SalePrice', ylim=(0,800000));
plt.show()

#检查另一个特征与房价的关系
var='TotalBsmtSF'
data=pd.concat([df_train['SalePrice'],df_train[var]],axis=1)
data.plot.scatter(x=var,y='SalePrice',ylim=(0,800000))
plt.show()

注意,以上两个是对数值型数据的分析,下面是类别型数据的分析。

#以上都是数值型数据与房价的分布,下面时类别型数据与房价的分布描述
#box plot overallqual/saleprice
var = 'OverallQual'
data = pd.concat([df_train['SalePrice'], df_train[var]], axis=1)
f, ax = plt.subplots(figsize=(8, 6))
fig = sns.boxplot(x=var, y="SalePrice", data=data)
fig.axis(ymin=0, ymax=800000);
plt.show()

分析这张图:在这里我们使用的是箱型图(盒图),主要包含六个数据节点,将一组数据从大到小排列,分别计算出上边缘,上四分位数Q3,中位数,下四分位数Q1,下边缘,分散的是异常值。上下边缘之间是正常数据的分布区间

#类别型数据
var = 'YearBuilt'
data = pd.concat([df_train['SalePrice'], df_train[var]], axis=1)
f, ax = plt.subplots(figsize=(16, 8))
fig = sns.boxplot(x=var, y="SalePrice", data=data)
fig.axis(ymin=0, ymax=800000)
plt.xticks(rotation=90)
plt.show()

相关性的分析:

#correlation matrix相关矩阵
corrmat = df_train.corr()
f, ax = plt.subplots(figsize=(12, 9))
sns.heatmap(corrmat, vmax=.8, square=True)
plt.show()

分析:相关矩阵可以用颜色和数值表示任意两个元素之间的相关性,颜色越淡,表示相关性越强,反之相关性越弱,可参考colorbar。

#saleprice correlation matrix 相关矩阵
k = 10 #number of variables for heatmap
cols = corrmat.nlargest(k, 'SalePrice')['SalePrice'].index
cm = np.corrcoef(df_train[cols].values.T)
sns.set(font_scale=1.25)
hm = sns.heatmap(cm, cbar=True, annot=True, square=True, fmt='.2f', annot_kws={'size': 10}, yticklabels=cols.values, xticklabels=cols.values)
plt.show()

分析:两个相同元素之间的相关性是1,如saleprice与saleprice,另外从图中我们看到garagecars与garagearea的相关性在0.88,表明这两个元素相关性很强,因此在后面做数据分析(机器学习)时,可以只取其中一个元素特征即可。相似的还有totalbsmtSF与1stFlrSF。同时,如果一个特征与saleprice之间的相关性很弱,那么这个特征可以舍去。

#scatterplot
sns.set()
cols = ['SalePrice', 'OverallQual', 'GrLivArea', 'GarageCars', 'TotalBsmtSF', 'FullBath', 'YearBuilt']
sns.pairplot(df_train[cols], size = 2.5)
plt.show()

分析:

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部