文档章节

统计学习方法读书笔记(一)之监督学习

g
 gotofirst
发布于 2017/08/08 20:18
字数 874
阅读 3
收藏 0

1.统计学习
统计学习也叫统计机器学习,从数据出发,提取数据的特征,抽象出数据的模型,发现数据中的知识,又回到对数据的分析与预测中去。
统计学习关于数据的基本假设是同类数据具有一定的统计规律。同类数据就是有某种共同性质的数据,例如英文文章、近几年某一天的天气情况等。因为只有相同性质,才具有统计规律,才可以用概率统计的方法来进行处理。一般情况下,用随机变量描述数据中的特征,用概率分布描述数据的统计规律。
统计学习最终为了让计算机更加智能化,或者说使计算机某些性能得到提高。
统计学习包括监督学习、非监督学习、半监督学习和强化学习。
统计学习以方法为中心,学习方法三要素为:模型+策略+算法。
2.监督学习
监督学习的任务是学习一个模型,使模型能够对任意给定的输入,对其相应的输出做一个好的预测。(输入输出是指某个系统的输入输出)
在监督学习中,所有输入(输出)可能的取值的集合称为输入(输出)空间。输入与输出空间可以是有限元素的集合,也可以是整个欧氏空间(欧氏空间解释)。输入与输出空间既可以是同一个空间,也可以是不同的空间;通常输出空间远远小于输入空间。
每个具体的输入是一个实例,通常由特征向量表示;所有特征向量存在的空间称为特征空间,特征空间的每一维对应于一个特征。
下面介绍一些表达式:
输入实例x的特征向量:x = (x^(1),x^(2),…….x^(i),…….x^(n))^T
x^(i)表示x的第i个特征;xi(下标i)表示多个输入变量中的第i个。
训练集:T = {(x1,y1),(x2,y2),…..,(xn,yn)}
输入输出变量可以是连续的也可以是不连续的。两者均为连续变量的问题称为回归问题;输出变量为有限个离散变量的问题称为分类问题;两者均为变量序列的问题称为标注问题。
监督学习假设输入与输出的随机变量X和Y遵循联合概率分布P(X,Y),训练数据与测试数据被看做是依联合概率分布P(X,Y)独立同分布产生的。在学习过程中,我们假设P(X,Y)存在,实际上它是未知的。
输入空间到输出空间的映射的集合称为假设空间。它的确定意味着学习范围的确定。
监督学习的模型可以是概率模型或非概率模型,对具体输入进行相应的预测时,记作P(y|x)或y = f(x).
监督学习问题
在学习过程中,学习系统利用给定的训练数据集,通过学习(训练)得到一个模型,用决策函数Y=f(X)或者条件概率分布P(Y|X)表示。学习系统通过不断地学习,训练,最后选取一个最好的模型。

© 著作权归作者所有

共有 人打赏支持
g
粉丝 0
博文 1
码字总数 874
作品 0
焦作
私信 提问
《统计学习方法》基本概念总结

1.统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科。统计学习也称为统计机器学习。现在,当人们提及机器学习时,往往是指统计机器学习。 2.统计学习...

Norlan
2017/07/05
0
0
当我们说数据挖掘的时候我们在说什么_数据挖掘入门大纲

开头下定语:统计学习 现在市面上谈论到的数据挖掘基本上都是基于统计学习的监督学习或非监督学习问题。尤其以监督学习应用面更广。 统计学习的应用 分类问题:客户分类模型、异常鉴别、图像...

力谱宿云
2016/04/05
219
0
机器学习必备宝典-《统计学习方法》的python代码实现、电子书及课件

欢迎关注天善智能,我们是专注于商业智能BI,人工智能AI,大数据分析与挖掘领域的垂直社区,学习,问答、求职一站式搞定! 对商业智能BI、大数据分析挖掘、机器学习,python,R等数据领域感兴...

天善智能
11/27
0
0
《统计学习方法》学习笔记(0)——概述

目前机器学习等热门的人工智能领域使用的算法大多是统计学的方法,李航老师的《统计学习方法》是一本很不错的入门统计学习方法的书,在读这本书的时候,顺便写下笔记,供自己以后参考。 在谈...

qq_33414271
03/06
0
0
重回机器学习-《python机器学习及实践》读书笔记一

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qtlyx/article/details/82860176 以前也算比较系统接触过机器学习吧,记得最早的时候是大二,机器学习才刚开始...

钱塘小甲子
09/26
0
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周六乱弹 —— 你一口我一口多咬一口是小狗

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @达尔文 :分享Roy Orbison的单曲《She's a Mystery to Me》 《She's a Mystery to Me》- Roy Orbison 手机党少年们想听歌,请使劲儿戳(这里...

小小编辑
今天
31
4
Spring源码学习笔记-1-Resource

打算补下基础,学习下Spring源码,参考书籍是《Spring源码深度解析》,使用版本是Spring 3.2.x,本来想试图用脑图记录的,发现代码部分不好贴,还是作罢,这里只大略记录下想法,不写太细了 ...

zypy333
今天
12
0
RestClientUtil和ConfigRestClientUtil区别说明

RestClientUtil directly executes the DSL defined in the code. ConfigRestClientUtil gets the DSL defined in the configuration file by the DSL name and executes it. RestClientUtil......

bboss
今天
19
0

中国龙-扬科
昨天
4
0
Linux系统设置全局的默认网络代理

更改全局配置文件/etc/profile all_proxy="all_proxy=socks://rahowviahva.ml:80/"ftp_proxy="ftp_proxy=http://rahowviahva.ml:80/"http_proxy="http_proxy=http://rahowviahva.ml:80/"......

临江仙卜算子
昨天
13
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部