文档章节

机器学习-初探

西伯利亚大尾巴狼
 西伯利亚大尾巴狼
发布于 2018/04/14 11:44
字数 3203
阅读 38
收藏 0

积跬步以致千里,积怠惰以致深渊

注:本篇文章在整理时主要参考了 周志华 的《机器学习》。

主要内容

对机器学习进行简单介绍,并引出机器学习基本概念。

什么是机器学习(MachineLearning)

“朝霞不出门,晚霞行千里”

人从以往积累的经验学习总结得出,早上有红色云霞的话就预示今天有雨,晚上太阳下山的时候有红色云霞的话预示明天晴天。同样,我们赋予计算机(在此我们理解Machine为计算机)拥有通过对经验的利用,能够做出有效决策的能力,称之为机器学习。

如何赋予计算机“学习”能力

定义:针对经验E (experience) 和一系列的任务T (tasks) 和一定表现的衡量P,如果随之经验E的积累,针对定义好的任务T可以提高表现P,就说计算机具有学习能力。

在计算机系统中,“经验”通常以“数据”的形式存在。通过设计“学习算法”使得计算机能够从数据中产生数据之间潜在的规律和联系(例:朝霞与今天下雨,晚霞与明天晴天),我们将这种规律和联系统称为“模型”。首先我们把经验数据提供给计算机,计算机就能基于这些数据和学习算法产生模型然后做出有效决策;在面对新的情况时(例如朝霞),模型会给我们提供相应的判断(例如今天会下雨)。

机器学习算法

我们先了解一下科学推理的两大基本手段:归纳(induction)演绎(deduction)。前者是从特殊到一般的“泛化”(generalization)过程,即从具体事实归结出一般性规律;后者是从一般到特殊的“特化”(specialization)过程,即从基础性原理推演出具体状况。

假定我们收集了一批关于西瓜的数据,例如(色泽=青绿,根蒂=蜷缩,敲声=浊响),(色泽=乌黑,根蒂=稍蜷,敲声=沉闷),(色泽=浅白,根蒂=硬挺,敲声=清脆)...,每对括号内是一条记录,“=”意思是“取值为”。

机器学习的过程其实就是上边的归纳过程,我们以挑西瓜为例

机器学习的过程就是从具体数据集中“泛化”的过程,即通过对训练集中瓜的学习以获得对没见过的瓜进行判断的能力。我们可以把学习过程看作一个在所有假设(hypothesis)组成的空间中进行搜索的过程,搜索目标是找到与训练集“匹配”(fit)的假设,即能够将训练集中的瓜判断正确的假设。

例如在表1.1的训练集上,我们可以找到匹配训练样本的假设列表,展示如下:

(色泽=*,根蒂=蜷缩,敲声=*)     -> 好瓜   (1)

(色泽=*,根蒂=*,敲声=浊响)     -> 坏瓜   (2)

(色泽=*,根蒂=蜷缩,敲声=浊响) -> 坏瓜   (3)

算法选择依据

从上文中我们可以得知在同一个训练集上进行匹配,有可能会匹配出多个假设,那么机器学习的具体过程中算法的选择依据是什么呢?

在现实问题中我们常面临很大的假设空间,可学习过程是基于有限样本训练集进行的,因此,可能有多个假设与训练集一致,即存在着一个与训练集一致的“假设集合”,我们称之为“版本空间”,上边的假设(1)(2)(3)即在西瓜数据集上“泛化”出的假设空间。

那么当我们遇到一个新收来的瓜(色泽=青绿,根蒂=蜷缩,敲声=沉闷),那么我们该选用哪个假设来进行判断呢?如果使用假设(1)时,这是一个好瓜,可如果使用假设(2)(3)时,这就是一个坏瓜了。

这时候的选择偏好被称为“归纳偏好”,而任何一个有效的机器学习算法必有其归纳偏好,否则它必然被假设空间中等效的假设所迷惑,而无法产生确定的学习结果。

一种常用的、自然科学研究中最基本的“正确的”偏好原则是“奥卡姆剃刀”(Occam's razor)原则

奥卡姆剃刀原则:若有多个假设与观察一致,则选最简单的那个

事实上,归纳偏好对应了学习算法本身所做出的关于“什么样的模型更好”的假设。在具体的现实问题中,算法的归纳偏好是否与问题本身匹配,大多数时候直接决定了算法能否取得好的性能。

举个例子,在下边回归学习的1.3图示中,每个训练样本是图中的一个点,要习得一个和训练集一致的模型,相当于找到一条穿过所有训练样本点的曲线。显然,这样的曲线有很多条。如果使用奥卡姆剃刀偏好原则的话,更为平滑的曲线A会比曲线B要好。

可实际情况,A曲线却并不一定比B曲线好,因为用来训练的样本只是全量数据的一部分,真正的数据到底是更贴近曲线A还是曲线B是无法得知的。如图1.4所示,真实的数据是两种情况都有可能出现。换言之,对于一个学习算法a,若它在某些问题上比学习算法b好,则必然存在另一些问题,在那里b比a好。

可NFL定理有一个重要前提:所有“问题”出现的机会相同、或所有问题同等重要。但实际情况并不是这样的,很多时候,我们只关注自己正在试图解决的问题。比如,要找到快速从A地到B地的算法,如果我们考虑A地是南京鼓楼、B地是南京新街口,那么“骑自行车”是很好的解决方案;但是这个方案对A地是南京鼓楼、B地是北京新街口的情形显然很糟糕,但我们对此并不关心。

所以,NFL定理最重要的寓意,是让我们清楚意识到,脱离具体问题,空泛地谈论“什么学习算法更好”毫无意义,因为若考虑所有潜在的问题,则所有的算法都一样好。针对具体问题选择具体的算法和归纳偏好才是正确的做法。

基础概念

1)基本术语

数据集:对于这组数据的集合;(即,关于西瓜的数据)

示例或样本:每条记录关于一个事件或对象的描述;(例,(色泽=乌黑,根蒂=稍蜷,敲声=沉闷))

属性或特征:反应事件或对象在某方面的表现或性质的事项;(即,“色泽”、“根蒂”,“敲声”)

属性空间:属性张成的空间;(即,我们把“色泽”、“根蒂”,“敲声”作为三个坐标轴,则它们张成一个用于描述西瓜的三维空间,也称“样本空间”或“输入空间”)

特征向量:每个样本在属性空间中对应的坐标向量;

学习或训练:从数据中学得模型的过程,通过执行某个学习算法来完成;

训练数据:训练过程中使用的数据;

训练样本:训练数据中每个样本;

训练集:训练样本组成的集合;

如果希望学得一个能帮助我们判断没剖开的是不是“好瓜”的模型,仅有前面的示例数据显然是不够的。要建立这样的关于“预测”(prediction)的模型,我们需要获得训练样本的“结果”信息,例如“((色泽=青绿,根蒂=蜷缩,敲声=浊响),好瓜)”。

标记(label):关于示例结果的信息;(例如,好瓜)

样例(example):拥有了标记信息的示例;

测试:用已学得的模型进行预测的过程;

测试样本:被预测的样本;

2)算法分类

分类(classification):目标标记为类别型数值(category);(例如“好瓜”“坏瓜”)

回归(regression):目标标记为连续性数值(continuous numeric value);(例如西瓜成熟度0.95、0.37)

监督学习(supervised learning):是利用已知类别的样本(即有标记的样本 labeled sample,已知其相应的类别),调整分类器的参数,训练得到一个最优模型,使其达到所要求性能,再利用这个训练后的模型,将所有的输入映射为相应的输出,对输出进行简单的判断,从而实现分类的目的,这样,即可以对未知数据进行分类。

通俗的来讲,我们给计算机一堆选择题(训练样本),并同时提供了它们的标准答案,计算机努力调整自己的模型参数,希望自己推测的答案与标准答案越一致越好,使计算机学会怎么做这类题。然后再让计算机去帮我们做没有提供答案的选择题(测试样本)。

无监督学习(unsupervised learning):实现没有有标记的、已经分类好的样本,需要我们直接对输入数据集进行建模,例如聚类,最直接的例子就是我们常说的『人以群分,物以类聚』。我们只需要把相似度高的东西放在一起,对于新来的样本,计算相似度后,按照相似程度进行归类就好。

通俗的来讲,我们给计算机一堆选择题(训练样本),但是不提供标准答案,计算机尝试分析这些题目之间的关系,对题目进行分类,计算机也不知道这几堆题的答案分别是什么,但计算机认为每一个类别内的题的答案应该是相同的。

强化学习:所谓强化学习就是智能系统从环境到行为映射的学习,以使奖励信号(强化信号)函数值最大,强化学习不同于连接主义学习中的监督学习,主要表现在教师信号上,强化学习中由环境提供的强化信号是对产生动作的好坏作一种评价(通常为标量信号),而不是告诉强化学习系统RLS(reinforcement learning system)如何去产生正确的动作。

通俗的来讲,我们给计算机一堆选择题(训练样本),但是不提供标准答案,计算机尝试去做这些题,我们作为老师批改计算机做的对不对,对的越多,奖励越多,则计算机努力调整自己的模型参数,希望自己推测的答案能够得到更多的奖励。不严谨的讲,可以理解为先无监督后有监督学习。

迁移学习:考虑到大部分数据或任务是存在相关性的,所以通过transfer learning我们可以将已经学到的parameter 分享给新模型从而加快并优化模型的学习不用像之前那样learn from zero。把已学训练好的模型参数迁移到新的模型来帮助新模型训练数据集。

机器学习应用

语音识别、自动驾驶、语言翻译、计算机视觉、推荐系统、无人机、识别垃圾邮件

总结

1、如果说计算机科学是研究关于“算法”的学问,那么类似的,可以说机器学习是研究关于“学习算法”的学问。

2、机器学习的本质是构建起输入和输出之间的关系模型,并利用这个关系模型来解决未知的情况。

3、机器学习的学习过程是对数据集的泛化过程。

4、并没有绝对好的机器学习算法,脱离具体问题,空泛地谈论“什么学习算法更好”毫无意义,因为若考虑所有潜在的问题,则所有的算法都一样好。

5、针对具体问题选择具体的算法和归纳偏好才是正确的做法。

© 著作权归作者所有

西伯利亚大尾巴狼

西伯利亚大尾巴狼

粉丝 16
博文 7
码字总数 19909
作品 0
珠海
程序员
私信 提问
WinForms UI控件初探:Grid Control 、Data Grid、TreeList

Grid Control 、Data Grid、Spreadsheet、Data Editor、TreeList: 超乎你想象!WinForms Grid Control处理100万行数据到底有多快? WinForms界面控件初探:处理速度飞快的WinForms Data Gri...

百mumu
2016/07/13
53
0
AutoML 和神经架构搜索初探

雷锋网(公众号:雷锋网)按:本文由「图普科技」编译自 An Opinionated Introduction to AutoML and Neural Architecture Search 来自CMU和DeepMind的研究人员最近发布了一篇有趣的新论文,称...

图普科技
2018/08/01
0
0
【HTML5初探之Geolocation API】让我们获取女神的地址

导航 【初探HTML5之使用新标签布局】用html5布局我的博客页! 【HTML5初探之form标签】解放表单验证、增加文件上传、集成拖放 【HTML5初探之绘制图像(上)】看我canvas元素引领下一代web页面...

范大脚脚
2017/12/14
0
0
【HTML5初探之本地存储】如果没有数据库。。。

导航 【初探HTML5之使用新标签布局】用html5布局我的博客页! 【HTML5初探之form标签】解放表单验证、增加文件上传、集成拖放 【HTML5初探之绘制图像(上)】看我canvas元素引领下一代web页面...

范大脚脚
2017/12/07
0
0
干货来了!2016年DevExpress资源汇总(更新、文档)

在2016年,著名软件界面解决方案专家DevExpress进行了重大升级,EVGET围绕版本升级推出了一系列干货资源,现将2016年所有Dev资源使用教程汇总于此,欢迎收藏转发点赞哦~ DevExpress WPF入门指...

Miss_Hello_World
2016/11/25
143
0

没有更多内容

加载失败,请刷新页面

加载更多

用Markdown编程之类型

类型就是约定。而现有的类型是单纬度的。用标注法编程好处就是可以多维度。 类型基础分为: 虚 实 在此之上分为: 根 寄存器级 联 内存级 外 网络级 虚:说白了就是指针或索引之类的概念。之...

dwcz
5分钟前
0
0
WPF中的StaticResource和DynamicResource有什么区别?

在WPF中使用画笔,模板和样式等资源时,可以将它们指定为StaticResources <Rectangle Fill="{StaticResource MyBrush}" /> 或者作为DynamicResource <ItemsControl ItemTemplate="{DynamicR......

javail
31分钟前
49
0
Day07继承中的面试题 答案

1. 每一个构造方法的第一条语句默认都是:super() Object类最顶层的父类。 class Zi extends Fu{ public int num = 20; public Zi(){ //super(); System.out.println("zi"); } 2.class Test......

Lao鹰
36分钟前
42
0
每天AC系列(四):四数之和

1 题目 Leetcode第18题,给定一个数组与一个target,找出数组中的四个数之和为target的不重复的所有四个数. 2 暴力 List<List<Integer>> result = new ArrayList<>();if (nums.length == 4 &......

Blueeeeeee
46分钟前
54
0
git clone --mirror和git clone --bare有什么区别

git clone帮助页面上有关于--mirror : 设置远程存储库的镜像。 这意味着--bare 。 但没有详细介绍--mirror克隆与--bare克隆--mirror不同。 #1楼 克隆将从远程服务器复制参考,并将其填充到名...

技术盛宴
今天
72
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部