文档章节

统计学习方法读书笔记(一)之监督学习

g
 gotofirst
发布于 2017/08/08 20:18
字数 874
阅读 3
收藏 0

1.统计学习
统计学习也叫统计机器学习,从数据出发,提取数据的特征,抽象出数据的模型,发现数据中的知识,又回到对数据的分析与预测中去。
统计学习关于数据的基本假设是同类数据具有一定的统计规律。同类数据就是有某种共同性质的数据,例如英文文章、近几年某一天的天气情况等。因为只有相同性质,才具有统计规律,才可以用概率统计的方法来进行处理。一般情况下,用随机变量描述数据中的特征,用概率分布描述数据的统计规律。
统计学习最终为了让计算机更加智能化,或者说使计算机某些性能得到提高。
统计学习包括监督学习、非监督学习、半监督学习和强化学习。
统计学习以方法为中心,学习方法三要素为:模型+策略+算法。
2.监督学习
监督学习的任务是学习一个模型,使模型能够对任意给定的输入,对其相应的输出做一个好的预测。(输入输出是指某个系统的输入输出)
在监督学习中,所有输入(输出)可能的取值的集合称为输入(输出)空间。输入与输出空间可以是有限元素的集合,也可以是整个欧氏空间(欧氏空间解释)。输入与输出空间既可以是同一个空间,也可以是不同的空间;通常输出空间远远小于输入空间。
每个具体的输入是一个实例,通常由特征向量表示;所有特征向量存在的空间称为特征空间,特征空间的每一维对应于一个特征。
下面介绍一些表达式:
输入实例x的特征向量:x = (x^(1),x^(2),…….x^(i),…….x^(n))^T
x^(i)表示x的第i个特征;xi(下标i)表示多个输入变量中的第i个。
训练集:T = {(x1,y1),(x2,y2),…..,(xn,yn)}
输入输出变量可以是连续的也可以是不连续的。两者均为连续变量的问题称为回归问题;输出变量为有限个离散变量的问题称为分类问题;两者均为变量序列的问题称为标注问题。
监督学习假设输入与输出的随机变量X和Y遵循联合概率分布P(X,Y),训练数据与测试数据被看做是依联合概率分布P(X,Y)独立同分布产生的。在学习过程中,我们假设P(X,Y)存在,实际上它是未知的。
输入空间到输出空间的映射的集合称为假设空间。它的确定意味着学习范围的确定。
监督学习的模型可以是概率模型或非概率模型,对具体输入进行相应的预测时,记作P(y|x)或y = f(x).
监督学习问题
在学习过程中,学习系统利用给定的训练数据集,通过学习(训练)得到一个模型,用决策函数Y=f(X)或者条件概率分布P(Y|X)表示。学习系统通过不断地学习,训练,最后选取一个最好的模型。

© 著作权归作者所有

共有 人打赏支持
g
粉丝 0
博文 1
码字总数 874
作品 0
焦作
《统计学习方法》基本概念总结

1.统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科。统计学习也称为统计机器学习。现在,当人们提及机器学习时,往往是指统计机器学习。 2.统计学习...

Norlan
2017/07/05
0
0
《统计学习方法》学习笔记(0)——概述

目前机器学习等热门的人工智能领域使用的算法大多是统计学的方法,李航老师的《统计学习方法》是一本很不错的入门统计学习方法的书,在读这本书的时候,顺便写下笔记,供自己以后参考。 在谈...

qq_33414271
03/06
0
0
MySQL入门教程系列-1.5 如何学习MySQL

在这里持续更新 MySQL入门教程系列-1.5 如何学习MySQL 如何学习 MySQL 这是一个伪命题,每个人都有适合自己的一套学习方法,各

同一种调调
2016/09/28
15
0
统计学习方法资源汇总

统计学习方法资源汇总 历时近半年《统计学习方法》的学习,今天告一段落。也没什么好说的,在学习过程遇到的一些坑,和搜集到的一些资料都在此汇总下,方便自己复习查阅。 统计学习方法总结 ...

u014688145
2017/03/07
0
0
隐马尔可夫模型之Baum-Welch算法详解

隐马尔可夫模型之Baum-Welch算法详解 前言 在上篇博文中,我们学习了隐马尔可夫模型的概率计算问题和预测问题,但正当要准备理解学习问题时,发现学习问题中需要EM算法的相关知识,因此,上一...

u014688145
2016/11/05
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

qduoj~前端~二次开发~打包docker镜像并上传到阿里云容器镜像仓库

上一篇文章https://my.oschina.net/finchxu/blog/1930017记录了怎么在本地修改前端,现在我要把我的修改添加到部署到本地的前端的docker容器中,然后打包这个容器成为一个本地镜像,然后把这...

虚拟世界的懒猫
今天
1
0
UML中 的各种符号含义

Class Notation A class notation consists of three parts: Class Name The name of the class appears in the first partition. Class Attributes Attributes are shown in the second par......

hutaishi
今天
1
0
20180818 上课截图

小丑鱼00
今天
1
0
Springsecurity之SecurityContextHolderStrategy

注:下面分析的版本是spring-security-4.2.x,源码的github地址是: https://github.com/spring-projects/spring-security/tree/4.2.x 先上一张图: 图1 SecurityContextHolderStrategy的三个......

汉斯-冯-拉特
今天
1
0
LNMP架构(Nginx负载均衡、ssl原理、生成ssl密钥对、Nginx配置ssl)

Nginx负载均衡 网站的访问量越来越大,服务器的服务模式也得进行相应的升级,比如分离出数据库服务器、分离出图片作为单独服务,这些是简单的数据的负载均衡,将压力分散到不同的机器上。有时...

蛋黄_Yolks
今天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部