知识卡片 回归性能度量 Log Loss

原创
2020/08/23 02:03
阅读数 270




对数损失 Log Loss 又称交叉熵损失 cross-entropy loss,两者名称不同,其实是等价的 ,常用于评价逻辑回归和神经网络。



什么是逻辑回归 Logistics Regression?


与线性回归估计出Y的是一个连续型的计量数值不同,逻辑回归其实是一个分类方法。在二元逻辑回归中应变量Y是0和1,Y属于分类数据,估计结果是一个概率,自变量是可以包含多个对因变量有影响的因素,可以是连续也可是分类数据;通过逻辑回归,得出每个自变量的权重以及一个事件发生的概率。



二类分类问题的Log Loss:


注:pr 是按照回归模型得出的概率


举例说明:



假设有四个测试样本,y_true 列表是样本的真实值,y_pred 列表中有四个元素,每个样本元素有两个数值,分别表示不同类标签(0和1)的预测概率,其和为1。y_pred中的第一样本的两个元素[.9, .1] 表示样本1有90%的概率属于标签y=0, 10%的概率属于标签y=1;依次计算每个样本的逻辑损失,以e为底数算对数值,样本求平均得出Log Loss。


多类分类的交叉熵(cross-entropy loss)损失


交叉熵公式中,N为测试样本总数,Yi,k 表示第 i 个样本中的第 k 个标签的真实值。 pi,k 表示预测值。


举例说明:



好文章,我 在看❤

本文分享自微信公众号 - DataScience(DataScienceTeam)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
加载中

作者的其它热门文章

打赏
0
0 收藏
分享
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部
返回顶部
顶部