文档章节

机器学习技术研究报告-2016年10月

openthings
 openthings
发布于 2016/10/13 11:30
字数 4498
阅读 422
收藏 1

机器学习技术跟踪研究报告-2016年10月

欢迎引用,注明来源:【https://my.oschina.net/u/2306127/blog

1、机器学习概述

2016年是机器学习的元年。

  • 以AlphaGo战胜李世石为标志,机器学习的能力取得前所未有的突破,也让大家看到了这一技术的强大潜力。
  • 多种应用的探索(如自动驾驶)等得到资本的青睐,多个初创企业被高估值收购,工程化应用研究开始加速。
  • 神经网络基础软件(如Caffe/Tensorflow/CNTK等)都开放了源代码,对机器学习的研究和广泛使用起到了极大的推动作用。
  • Amazon等建设和开放了大规模机器学习的云计算平台,大大提升了机器学习的研究和使用的便捷度,降低了使用的门槛。

除此之外,脑科学、基因工程、新型材料、3D打印、智能制造、机器人、云计算与大数据、神经网络芯片等相关技术也得到了快速发展,对机器学习的研究和应用起到了推波助澜的作用。

2、机器智能是否会超过人?

机器智能是否会超过人?这是2016年广泛争论的一个话题。

人类创造并不属于人类

在很多科幻大片中,我们都看到过很多人机大战的惊心动魄的场景。但从原理上说,机器学习是基于网络拓扑的概率论的,因此很难出现创新性的奇思妙想,而这恰恰是推动技术进步的关键因素;至少从目前来看,机器毕竟是人建造的,算法也是人来开发的,要想获得超越整体人类尤其是部分天才的大脑还是一件相当遥远的事情。

不过,事情也没有那么乐观。

自然界的生物会发生基因突变,机器学习出现突变也不是没有可能,因此机器产生出内生的智能也是完全可能的,就像物种的演变一样。

尽管机器无法超越那些顶尖聪明的天才,但超越大多数普通人还是完全可能的。

机器的优势

因为机器具有几个天然的优势,是人所不能达到的:持续、共享、协同、重复、记忆。

  • 机器学习系统可以24小时连续工作,而人是不可能做到的;
  • 机器之间可以联网,共享数据、知识和学习成果,而人必须要重新学习;
  • 机器遵循相应的协议就可以形成协同的集群,人群的合作要复杂得多;
  • 重复性的工作可以反复做、不犯错,而人很难做到这一点,换一个人做结果又会有很大的区别;
  • 机器学习的知识可以被记忆、复制和转移,而人学习的知识会随着年龄而衰减,年轻人又需要从头开始进行学习,而机器可以一直进行积累。

观点

  • 对于工具来说,只讲功能,不谈道德。
  • 有的人使用机器,有的人被机器使用。
  • 防止机器智能被滥用,并非没有意义。

欢迎引用,注明来源:【https://my.oschina.net/u/2306127/blog

3、机器学习大事件

A、AlphaGo战胜韩国棋手李世石

AlphaGo战胜韩国棋手李世石,从而排名世界围棋第二名位置。AlphaGo【 https://deepmind.com/research/alphago/ 】是由Google收购的英国人工智能团队DeepMind【 https://deepmind.com/ 】取得的成果。DeepMind日前还公布了WaveNet语音合成引擎的成果。IBM、微软、谷歌、科大讯飞等在多年前做过语音识别和合成的软件,但采用的传统引擎方法。现在百度和谷歌采用新的机器学习方法,在不到三年的时间内就超过了以前数十年研究的水平。

B、IBM提出“认知计算”概念

大数据已经成为热门的技术,IBM提出“认知计算”概念,并将其Watson系统用于医疗领域。大数据面临的问题,可以归结为计算问题(包括基础设施、性能、容量、算法等)、分析和认知(包括处理逻辑、分类、模式识别等)、决策和反馈(包括判别、使用和结果的输出、应用)三个阶段。使用传统数理逻辑和统计方法进行大数据的分析和知识提取已经遇到瓶颈,机器学习将有可能成为大数据认知的核心支撑,可以为大量数据的自动化处理和高阶利用提供帮助,唯有借助机器学习方法,才能让基于大数据的业务智能真正落地。目前神经网络在语音和图像的识别和合成方面已经取得了非常好的成果,谷歌甚至教会计算机进行音乐创作。

C、自动驾驶风头(风投)十足

自动驾驶在特斯拉、谷歌、百度的引领下【 http://auto.sina.com.cn/news/hy/2016-03-25/detail-ifxqswxk9617597.shtml 】,热度持续上升,已经成为全球人才争夺的新战场。尽管Tesla出过几次严重事故,但人们的热情始终不减,相关软硬件和研发的投入持续快速增加。2016年百度也拿到加州自动驾驶车测试许可。除了这些巨头之外,2016年已有数个面向自动驾驶、人工智能的创新企业出现,并获得投资人的青睐,如中国的HorizonRobot、驭势科技等。 传统的大型汽车企业如宝马、丰田、大众也都紧锣密鼓地启动了自动驾驶的相关研究。

D、机器人产业链已经浮现

未来学家凯文.凯利预言的十二个趋势【http://mt.sohu.com/20160712/n458801153.shtml】中,人工智能占据很重要的位置,并在演讲中将其列为未来二十年中的颠覆性技术之一。机器学习系统是机器人的大脑,让机器具有自主学习、行动的能力,而不再是简单的机械。2016年,日本丰田公司收购了在机器人竞赛中多次获胜、目前最为先进的人形、四足机器人Atlas的团队-Boston Dynamics,并在硅谷设立了研发中心。目前,日本的各类机器人产业已逐步形成完整的链条。

E、智能产业抢筹已经开始

由Tesla创始人Musk和其他几位人工智能专家成立的OpenAI非盈利人工智能研究组织【 https://openai.com 】在2016年得到快速的发展,数亿美元资金已经到位,2016年10月份举行了一场非正式会议,开放了OpenAI Gym算法评测框架【 https://github.com/openai/gym 】。2016年,Tesla与Mobileye正式分手(Mobileye是以色列的一家企业,其核心产品是基于单目视觉的自动驾驶系统,Tesla的自动驾驶功能一直采用该方案),目前Mobileye也推出了自己的后装型辅助驾驶系统。Primsense是最早做视觉识别芯片的厂家(位于以色列),用于微软的Kinnect体感游戏设备之中,2013年被苹果公司收购,所建立的OpenNI开源软件和社区也随之关闭。OpenCV【 https://github.com/opencv 】是计算机视觉使用最广的库,最初由Intel开发,Itseez公司是主要维护者。2016年Intel收购了Itseez公司以及计算视觉芯片公司Movidius。

F、计算硬件将迎来大变革

NVidia扛起了机器学习硬件的大旗。由于神经网络运算需要消耗大量的算力,很多人使用GPU进行加速,而NVidia在这方面做了大量的工作,不仅在原来Cuda计算库的基础上推出了专用的神经网络算法库,在2016年接连发布了机器学习平台DGX1、自动驾驶平台Drive PX2、高性能计算平台M40及其相关的软件支持库【http://www.nvidia.cn/object/drive-px-cn.html】。以后,GPU不再仅仅是视觉输出,也将成为视觉输入的重要设备。

4、机器学习几个概念

机器学习是一个广泛的概念。从人工智能先驱马文.明斯克(1927)在1959创立第一个人工智能实验室开始,致2016年1月逝世为止,已有57年历史。期间经历多次火爆和沉寂,积累了大量的研究资料和经验,也衍生出了很多新的概念。

A、人工智能、机器学习与深度学习

人工智能一般泛指用人工方法教会机器去“聪明”地做事情。但是,现在很多人更认为这是“机器智能”,因为机器的思路和执行是按照现在的计算机控制系统的,与人的大脑思考方式有很大的区别。机器学习的方法也已经出现多年,文献材料已经汗牛充栋,并在很多数据分析和决策支持系统中使用,如最小紧邻、决策树、主成分分析、蒙地卡罗模拟等等方法。深度学习是一种基于神经网络的机器学习方法。由于2016年AlphaGo的胜出,基于神经网络的深度学习方法【 http://baike.baidu.com/view/9964678.htm 】几乎成为机器学习的代名词。

B、机器学习主要过程

机器学习过程一般分为是三个阶段:训练阶段,将训练样本输入训练器,以产生出学习到的成果参数,所产生的偏差为学习算法本身的误差;评估阶段,将评估样本输入,比较与预期结果的差异,所产生的偏差为与实际的偏差;应用阶段,将模型带入实际数据进行预测操作。一旦模型训练通过,后续就可以大规模使用。训练阶段消耗的计算资源比较多,一般用具有GPU支持的高性能计算机进行,而应用阶段的计算量就会大大减少,普通计算机甚至平板、手机都可以使用。

C、深度学习方法分类

在深度学习方法中,可以分为监督学习和无监督学习两个大类,2016年谷歌又提出了Expander-基于图论(Graph)的机器学习方法( https://my.oschina.net/u/2306127/blog/755231 )。监督学习需要对数据预先进行人工标记,再通过学习算法解算出相应的神经网络参数。非监督学习不需要实现进行训练数据的标记,主要用于分类和对象识别,无法学到具有“语义”的先验知识。

D、神经网络原理和局限

基于神经网络的深度学习方法主要模拟大脑的运作机制,由感知器、响应函数、输出端组成,原理上是比较简单的。但是,选择的网络层数、响应函数的类型对结果影响很大,样本数据的类型、质量、完备性也都会大幅度影响训练的结果,因此不同训练集数据和模型出来的结果会有很大的差异。不同应用领域的数据和特征肯定是不同的,因此深度学习的结果并非如我们想象的那样可以放之四海而皆准,从而实现通用的机器学习方法,而是需要像人一样不断地“精细学习”领域知识;随着层数和数据的加多,学习结果的准确率会趋于稳定(比如90%),而并非如预期的那样会一直提高(比如不断接近100%),因此到一定程度后再向上提升就变得非常困难。这是目前困扰深度学习的两个亟待突破的问题。

5、机器学习开源软件

5.1 软件清单

由于神经网络在2016年取得的突出成果,传统的机器学习研究几乎全部转向到了基于神经网络的深度学习领域。为了加速相关的研究和应用过程,多个开源软件项目发展了起来(参见:《15款开源机器学习软件》- https://my.oschina.net/u/2306127/blog/757088 ),其中包括:Caffe、CNTK、Deeplearning4J、DMTK、H2O、Mahout、MLlib、NuPic、OpenNN、OpenCyc、Oryx2、PredictionIO、SystemML、Tensorflow、Torch。OpenAI也开源了算法评测框架Gym( https://github.com/openai/gym )。

5.2 Keras

对于深度学习的入门者来说,Keras是一个很好的框架,【Keras+Jupyter+Docker黄金组合】上手快,资源多【参见《Keras教程》- https://my.oschina.net/u/2306127/blog?catalog=3744998&temp=1476188997288 】。Keras不提供深度学习计算引擎,但对深度学习的运行流程做了一个抽象接口封装,可以通过Python快速调用。目前,Keras支持Theano和Tensorflow作为神经网络计算引擎,使用时需要安装这两个软件之一。

5.3 Spark

MLlib是基于Spark分布式计算平台的机器学习模块,包含大量机器学习算法。但目前MLlib没有神经网络的算法,可以使用Deeplearning4J来在Spark上进行深度学习计算。目前,Cafffe和Tensorflow也都可以在Spark上运行,但多节点的协同参数同步还需要额外的开发来进行管理。

5.4 Facebook

FaceBook在2016年进一步开源了三个基于深度学习的图像处理软件( https://github.com/facebookresearch ),包括:DeepMask、SharpMask、MutiPathNet。DeepMask( https://github.com/facebookresearch/deepmask )主要实现图像提取,将目标对象从背景中分离出来,这是图像识别的很关键的初始步骤;SharpMask用于图像精确分割,从而提取出目标对象;MultiPathNet对提取出的掩码进行识别和分类。

5.5 Google

Google在2016年除了AlphaGo(电脑围棋,闭源)之外,还公布了WaveNet(语音合成)的成果,结果已经接近真人语音。此外,还公开了Expander(基于图论)的机器学习方法,将DayDream(图像合成)和Cartographer(基于SLAM的机器视觉)两款软件开源。

5.6 百度

百度在2016年开放了Paddle机器学习软件( https://github.com/baidu/Paddle ),可以支持大规模的分布式机器学习,不过部署起来步骤较多,我还没有亲自试过。

5.7 训练样本数据集

机器学习研究要用到大量训练数据,目前已经开源的数据包括:MNIST(手写字符识别,http://yann.lecun.com/exdb/mnist/ ), ImageNet(著名的机器学习研究标准数据集,http://image-net.org/download-imageurls ),自动驾驶(https://github.com/udacity/self-driving-carhttps://github.com/commaai/research )。

6、机器学习芯片

由于神经网络计算需要消耗大量的算力,随着机器学习尤其是基于神经网络的深度学习的快速发展,对计算硬件也提出了新的要求。目前,深度学习计算平台主要有四大流派:CPU、GPU、FPGA和DSP,目前还是以CPU+GPU为主。

NVidia是目前深度学习的首选平台,除了GPU硬件之外,在Cuda的基础上提供了神经网络计算的SDK和自动驾驶SDK,大大简化和加速了深度学习的研究进程。2016年,NVidia基于最新的Pascal GPU芯片,发布了机器学习平台DGX1、自动驾驶平台Drive PX2、高性能计算平台M40及其相关的软件支持库。但其最大的弱势是功耗高、成本高,主要适应科研需要,暂时难以大规模部署到消费级产品中。

Intel推出了众核计算平台Phi系列芯片( http://news.mydrivers.com/1/246/246652.htm )满足高并发的机器学习需要,2015年收购了ARM芯片方案商Altera,将FPGA能力与ARM结合起来,2016年推出了X86+FPGA的融合芯片( http://www.extremetech.com/extreme/184828-intel-unveils-new-xeon-chip-with-integrated-fpga-touts-20x-performance-boost ),据称可以提升高达20倍的计算性能。2016年进一步收购了深度学习芯片公司 Nervana Systems( http://www.nervanasys.com/ ) ,以及移动和嵌入式机器学习公司 Movidius,维护OpenCV的机器视觉公司Itseez。Intel几乎涵盖了所有的技术路线,可谓全面开花。

Wave Computing(http://wavecomp.com/)号称要创建出比GPU更快但功耗比FPGA还低的计算机系统。采用所谓Dataflow Processing Unit (DPU) 的架构,这与Nervana有类似之处。

ARM正在向服务器发展,已有厂商制做了多达1024核的服务器系统,中国的飞腾芯片(国防科大研制)也已经投入使用,由于其低功耗的特性,未来也有希望在机器学习领域崭露头角。

谷歌正在开发TPU(Tensor Processing Unit,张量处理单元),TPU为了更好的用TensorFlow(TF)来实现机器学习功能而特意优化了ASIC,降低了计算精度以减少完成每个操作所需要的晶体管数量。目前为止Google还没有提供性能测试数据,但Google声称这些优化有助于提高芯片每秒钟处理的操作数量。

2016年3月,中国科学院计算技术研究所发布了全球首个能够“深度学习”的“神经网络”处理器芯片,名为“寒武纪”(架构解析: http://www.leiphone.com/news/201605/93lRxoUpxCLaT5Zd.html )。IBM 在2014年研发出脉冲神经网络芯片TrueNorth,走的是“类脑计算”路线。

面向深度学习的硬件和软件系统正在快速发展,必将开启一个新的时代,智能社会已经透出曙光。

欢迎引用,注明来源:【https://my.oschina.net/u/2306127/blog

© 著作权归作者所有

openthings
粉丝 324
博文 1140
码字总数 689435
作品 1
东城
架构师
私信 提问
极光大数据:2017年10月主流共享单车app运营报告(附下载)

报告下载:添加199IT官方微信【i199it】,回复关键词【2017年10月主流共享单车app运营报告】 共享单车行业经历了一轮爆发式增长后,出现了马太效应,第一梯队的ofo摩拜越战越勇,而落后者则因...

d1j4robv
2017/11/23
0
0
联合国报告:中美在全球人工智能竞争中位居前列

(原标题:联合国报告:中美在全球人工智能竞争中位居前列) 2月2日报道?根据联合国世界知识产权组织(WIPO)1月31日公布的研究报告,中国和美国在全球人工智能(AI)领域的竞争中位居前列。...

参考消息网
02/02
0
0
点牛金融母公司赴美IPO 拟筹资最多1097.1万美元

  智察网讯 一边是监管收缩,一边是企业赴美上市热忱不减。12月25日消息,P2P平台点牛金融的母公司金牛有限公司近日向美国证监会提交招股书。招股书中显示,金牛拟最高筹资1097.1万美元。但...

智察大数据
2017/12/25
0
0
2016年度读书单

2016年01月01日 《HBase 管理指南》 2016年01月04日 《Hadoop技术详解》 2016年02月28日 《hive编程指南》 2016年03月13日 《Java并发编程》 2016年05月02日 《大型分布式网站架构设计与实践...

Ryan-瑞恩
2015/12/31
123
0
36Kr:物联网云平台研究报告(附下载)

报告下载:添加199IT官方微信【i199it】,回复关键词【物联网云平台研究报告】 报告下载:添加199IT官方微信【i199it】,回复关键词【物联网云平台研究报告】 更多阅读:...

d1j4robv
2017/12/13
0
0

没有更多内容

加载失败,请刷新页面

加载更多

如何在 Knative 中部署 WebSocket 和 gRPC 服务?

作者 | 冬岛 阿里云容器平台工程师 导读:虽然说 Knative 默认就支持 WebSocket 和 gRPC,但在使用中会发现,有时想要把自己的 WebSocket 或 gRPC 部署到 Knative 中,还是存在各种不顺利。虽...

阿里云官方博客
17分钟前
2
0
人人都可以掌握的正交试验设计测试用例方法

介绍 TamanduaOATs 是测者开发并开源的生成正交计算的pyd(python库)程序(放到python下的dlls目录下) 项目地址:https://github.com/crisschan/TamanduaOATs 开发语言:c++ python调用方法...

测者陈磊
17分钟前
2
0
报表工具跟BI软件到底有什么区别?看完你就懂了

在很多人入门数据分析师或者投身大数据行业的时候,必然会听到的两个词就是“报表工具”和“BI商业智能”。然而很多人并不明白两者的概念和区别,以为报表就是BI,BI就是报表,其实这是相当错...

朕想上头条
27分钟前
3
0
ValidatorException异常处理-PKIX path building failed

Maven下载依赖抛出一个ssl数字证书的异常:PKIX path building failed: SunCertPathBuilderException: unable to find valid certification path to requested target ,记录一下问题的前因后......

liumapp
33分钟前
3
0
JAVA CAS单点登录之三:CAS代理模式演练

前言 JAVA CAS单点登录之一:搭建CAS服务器 JAVA CAS单点登录之二:CAS普通模式1演练 代理模式相相对上一节的普通模式,更加复杂了。但配置起来也会稍微有些差别。所谓难者不会,会者不难。如...

彬彬公子
今天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部