Decision_Tree && Regression Tree

原创
2015/07/28 11:21
阅读数 110
  • Regression tree中:node split时,是穷举每一个attri的value来计算残差。如果是 node value就是这个node里面的样本均值。

  • 决策树和回归树在 node split 时候,一个是选择最大的信息增益,一个是选择最大的残差增益。具体可以这样理解:

         Info(D) 就是当前node状态下的 entropy_A, 减数表示如果根据A属性进行分裂后的 entropy_B,因为 entropy 表示混乱度,节点越混乱则表示node中的类越杂,或者说残差越大(MSE),但是我们希望 node 中的类越纯越好,或者 node中的误差越小越好,所以应该尽量选择上述1式中减数min的,这样分裂后的结果是非常纯净的。被减数越小,则差越大,所以会有 “选择最大的信息增益或者最大的残差增益”。

  • 关于 Information Gain讲的太多这里不说,主要描述下 残差增益:

         既然是残差增益,首先要计算残差(B),计算分裂后残差的方式就是穷举attri中的每一个val,来计算MSE,选择一个MSE最小的。因为是增益,所以要计算当前节点的本身残差(A),也就是用当前node的预测值和每一个sample做计算得到MSE,然后用 A-B就是 残差增益。注意在 VFDT 模型中,要比较 最大的残差增益和第二大的残差增益,数学变化一下就是用 MSE2nd - MSE1st 和 Hoeffding bound比较。

展开阅读全文
加载中

作者的其它热门文章

打赏
0
0 收藏
分享
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部
返回顶部
顶部