文档章节

机器学习第二章 模型评估与选择

DDDDavid
 DDDDavid
发布于 2017/07/31 15:06
字数 579
阅读 40
收藏 0
点赞 0
评论 0

2.1经验误差与过拟合

错误率:E=a/m

精度:=1-错误率

训练集上的误差:训练误差或经验误差

新样本上的误差:泛化误差

 

p问题,可以在多项式时间内解决的问题,polynomial problem。

np 问题,可以在多项式的时间里验证一个解的问题,non-deterministic polynomial。

npc问题,是NP的一个子集,且其中每一个问题均能由NP中的任何问题在多项式时间内转化而成,np complete。

 

2.2评估方法

(1)留出法:数据划分,分层采样,大约2/3~4/5样本用于测试;

(2)交叉验证法:k折交叉验证,数据分为k组(k常取10),k-1个用于训练,余下用于测试。留一法:m个样本,k=m。

(3)自助法:以自助采样法为基础,适用于数据集较小,难以有效划分训练/测试集时,测试结果称为“包外估计”。

(4)调参与最终模型

 

2.3性能度量

回归任务常用的性能度量:均方误差

(1)       错误率与精度。

(2)       查准率、查全率与F1:

真正例TP,假反例FN

假正例FP,真反例TN

查准率P=TP/(TP+FP)

查全率R=TP/(TP+FN)

P-R曲线,平衡点:P=R。

F1度量:查准率与查全率的调和平均数F1=2*P*R/(P+R)=2*TP/(总数+TP-TN)

Fβ=(1+β2)*P*R/(β2*P+R), β>1查全率影响大,β<1查准率影响大

微查准率Micro-P=TP/(TP+FP)

微查全率Micro-R=TP/(TP+FN)

微F1=2*micro-P*micro-R/(micro-P+micrp-R)

(3)       ROC与AUC,研究学习器泛化性能

受试者工作特征:ROC

纵轴,真正例率,TPR=TP/(TP+FN)

横轴,假正例率,FPR=FP/(TN+FP)

AUC:ROC曲线下的面积AUC=1-lrank

(4)       代价敏感错误率与代价曲线

正例概率代价P(+)cost=p*cost01/(p*cost01+(1-p)*cost10)

归一化代价cost=[FNR*P*cost01+FPR*(1-P)*cost10]/[ p*cost01+(1-p)*cost10]

 

2.4比较检验

(1)假设检验

二项检验

t检验

(2)交叉验证t检验

(3)McNemar检验

(4)Friedman检验与Nemenyi检验

 

2.5偏差与方差

泛化误差可分解为偏差、方差与噪声之和。

偏差-方差窘境

© 著作权归作者所有

共有 人打赏支持
DDDDavid
粉丝 0
博文 4
码字总数 3947
作品 0
东城
程序员
《机器学习》(周志华)课后习题参考答案

目录: 周志华《机器学习》课后习题解答系列(二):Ch1 - 绪论 周志华《机器学习》课后习题解答系列(三):Ch2 - 模型评估与选择 周志华《机器学习》课后习题解答系列(四):Ch3 - 线性模...

kchai31 ⋅ 01/04 ⋅ 0

机器学习模型的评价指标?

面试官:你这个项目评价指标是什么? 偶:这是一个【分类】【回归】【聚类】问题,我的指标是-->>如下 分类 精确率、召回率、准确率、F值、ROC-AUC 、混淆矩阵、PRC 回归 RMSE(平方根误差) M...

李理 ⋅ 2017/10/27 ⋅ 0

团队拙作《Python机器学习实战》

之前看国内外的 Python 机器学习的书,鲜有将机器学习到底怎么做人脸识别、怎么做风险控制、怎么做 OCR 算法模型列出的,并且真正的一个 Python 应用,不止是从机器学习库中导入一下配置一下...

yijun2018 ⋅ 04/20 ⋅ 0

《Python与机器学习实战:决策树、集成学习、支持向量机与神经网络算法详解及编程实现》PDF

下载链接: https://pan.baidu.com/s/1lTl6z8Vv1LfIvdBjv16YpQ 密码: avij 出版社: 电子工业出版社; 第1版 (2017年7月1日) 平装: 315页 语种: 简体中文 开本: 16 ISBN: 9787121317200 条形码...

sinat_33899729 ⋅ 05/07 ⋅ 0

学界 | 综述论文:机器学习中的模型评价、模型选择与算法选择

本论文回顾了用于解决模型评估、模型选择和算法选择三项任务的不同技术,并参考理论和实证研究讨论了每一项技术的主要优势和劣势。进而,给出建议以促进机器学习研究与应用方面的最佳实践。 ...

机器之心 ⋅ 02/02 ⋅ 0

机器学习中的概率模型和概率密度估计方法及VAE生成式模型详解之一(简介)

A Gentle Introduction to Probabilistic Modeling and Density Estimation in Machine Learning And A Detailed Explanation of Variational Auto-Encoder by Jiyang Wang Jiyangwang@yahoo......

Jiyang_Wang ⋅ 昨天 ⋅ 0

吴恩达《深度学习-结构化机器学习项目》1--机器学习策略(1)

1. Why ML Strategy 为什么需要机器学习策略,机器学习策略指的是一些分析机器学习问题的方法。让我们从一个例子开始:假设训练的分类器准确率为90%,想要提高准确率应该怎么办呢?我们有很多...

weixin_41043240 ⋅ 02/12 ⋅ 0

超详细!上线一个机器学习项目你需要哪些准备?

价值主张 机器学习应该以满足用户需求为目的进行设计 谁是预测系统的最终用户? 我们需要他们做些什么? 服务的目标是什么?目标的意义又是什么? 只有在回答这3W问题之后,你才能开始思考一...

【方向】 ⋅ 04/25 ⋅ 0

《Scikit-Learn与TensorFlow机器学习实用指南》 第1章 机器学习概览

第1章 机器学习概览 来源:ApacheCN《Sklearn 与 TensorFlow 机器学习实用指南》翻译项目 译者:@SeanCheney 校对:@Lisanaaa @飞龙 大多数人听到“机器学习”,往往会在脑海中勾勒出一个机器...

wizardforcel ⋅ 04/18 ⋅ 0

《Sklearn 与 TensorFlow 机器学习实用指南》 第6章 决策树

来源:ApacheCN《Sklearn 与 TensorFlow 机器学习实用指南》翻译项目 译者:@Lisanaaa @y3534365 校对:@飞龙 和支持向量机一样, 决策树是一种多功能机器学习算法, 即可以执行分类任务也可...

ApacheCN_飞龙 ⋅ 06/12 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

sbt网络问题解决方案

http://dblab.xmu.edu.cn/blog/maven-network-problem/

狐狸老侠 ⋅ 13分钟前 ⋅ 0

大数据,必须掌握的10项顶级安全技术

我们看到越来越多的数据泄漏事故、勒索软件和其他类型的网络攻击,这使得安全成为一个热门话题。 去年,企业IT面临的威胁仍然处于非常高的水平,每天都会看到媒体报道大量数据泄漏事故和攻击...

p柯西 ⋅ 56分钟前 ⋅ 0

Linux下安装配置Hadoop2.7.6

前提 安装jdk 下载 wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.6/hadoop-2.7.6.tar.gz 解压 配置 vim /etc/profile # 配置java环境变量 export JAVA_HOME=/opt/jdk1......

晨猫 ⋅ 今天 ⋅ 0

crontab工具介绍

crontab crontab 是一个用于设置周期性被执行的任务工具。 周期性执行的任务列表称为Cron Table crontab(选项)(参数) -e:编辑该用户的计时器设置; -l:列出该用户的计时器设置; -r:删除该...

Linux学习笔记 ⋅ 今天 ⋅ 0

深入Java多线程——Java内存模型深入(2)

5. final域的内存语义 5.1 final域的重排序规则 1.对于final域,编译器和处理器要遵守两个重排序规则: (1)在构造函数内对一个final域的写入,与随后把这个被构造对象的引用赋值给一个引用...

江左煤郎 ⋅ 今天 ⋅ 0

面试-正向代理和反向代理

面试-正向代理和反向代理 Nginx 是一个高性能的反向代理服务器,但同时也支持正向代理方式的配置。

秋日芒草 ⋅ 今天 ⋅ 0

Spring 依赖注入(DI)

1、Setter方法注入: 通过设置方法注入依赖。这种方法既简单又常用。 类中定义set()方法: public class HelloWorldOutput{ HelloWorld helloWorld; public void setHelloWorld...

霍淇滨 ⋅ 昨天 ⋅ 0

马氏距离与欧氏距离

马氏距离 马氏距离也可以定义为两个服从同一分布并且其协方差矩阵为Σ的随机变量之间的差异程度。 如果协方差矩阵为单位矩阵,那么马氏距离就简化为欧氏距离,如果协方差矩阵为对角阵,则其也...

漫步当下 ⋅ 昨天 ⋅ 0

聊聊spring cloud的RequestRateLimiterGatewayFilter

序 本文主要研究一下spring cloud的RequestRateLimiterGatewayFilter GatewayAutoConfiguration @Configuration@ConditionalOnProperty(name = "spring.cloud.gateway.enabled", matchIfMi......

go4it ⋅ 昨天 ⋅ 0

Spring clound 组件

Spring Cloud技术应用从场景上可以分为两大类:润物无声类和独挑大梁类。 润物无声,融合在每个微服务中、依赖其它组件并为其提供服务。 Ribbon,客户端负载均衡,特性有区域亲和、重试机制。...

英雄有梦没死就别停 ⋅ 昨天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部