文档章节

学习笔记TF045:人工智能、深度学习、TensorFlow、比赛、公司

利炳根
 利炳根
发布于 2017/08/20 11:32
字数 2575
阅读 36
收藏 0
点赞 0
评论 0

人工智能,用计算机实现人类智能。机器通过大量训练数据训练,程序不断自我学习、修正训练模型。模型本质,一堆参数,描述业务特点。机器学习和深度学习(结合深度神经网络)。

传统计算机器下棋,贪婪算法,Alpha-Beta修剪法配合Min-Max算法。 AlphaGo,蒙特卡洛树搜索法(Monte Carlo tree search,MCTS)和深度卷积神经网络(deep convolutional neural network,DCNN)。估值网络(value network,盘面评估函数),计算盘面分类。策略网络(policy network),计算每个棋概率、胜率。训练模型过程,分类方法得到直接策略,直接策略对历史棋局资料库进行神经网络学习(深度卷积神经网络)得到习得策略,强化学习自我对局(蒙特卡洛树状搜寻法)得到改良策略,回归整体统计得到估值网络。谷歌《Nature》论文,《Mastering the game of Go with deep neural networks and tree search》。

深度学习。前身 是人工神经网络(artificial neural network,ANN),模仿人脑神经元传递、处理信息模式。输入层(input layer)输入训练数据,输出层(output layer)输出计算结果,中间隐藏层(hidden layer)向前传播数据。

数据预处理,图片,图像居中、灰度调整、梯度锐化、去除噪声、倾斜度调整。输入神经网络第一层,第一层提取图像特征,有用向下传递,最后一层输出结果。前向传播(forword propagation)。分类概率向量,前5概率值。

深度学习,利用已知数据学习模型,在未知数据做出预测。神经元特性,激活函数(activation function),非线性函数,输入非线性变化,前向传播;成本函数(cost function),定量评估预测值和真实值差距,调整权重参数,减少损失,反向传播(backword propagation)。

神经网络算法核心,计算、连接、评估、纠错、训练。深度学习增加中间隐藏层数和神经元数,网络变深变宽,大量数据训练。

分类(classification)。输入训练数据特征(feature)、标记(label),找出特征和标记映射关系(mapping),标记纠正学习偏差,提高预测率。有标记学习为监督学习(supervised learning)。无监督学习(unsuperVised learning),数据只有特征没有标记。训练不指定明确分类,数据聚群结构,相似类型聚集一起。没有标记数据分组合,聚类(clustering);成功激励制度,强化学习(reinforcement learning,RL)。延迟奖赏与训练相关,激励函数获得状态行动映射,适合连续决策领域。半监督学习(semi-supervised learning),训练数据部分有标记,部分没有,数据分布必然不完全随机,结合有标记数据局部特征,大量无标记数据整体分布,得到较好分类结果。有监督学习(分类、回归)-半监督学习(分类、回归)-半监督聚类(标记不确定)-无监督学习(聚类)。

深度学习入门,算法知识、大量数据、计算机(最好GPU)。 学习数学知识,训练过程涉及过程抽象数学函数,定义网络结构,定义线性非线性函数,设定优化目标,定义损失函数(loss function),训练过程求解最优解次优解,基本概率统计、高等数学、线性代数,知道原理、过程,兴趣涉猎推导证明。

经典机器学习理论、基本算法,支持向量机、逻辑回归、决策树、朴素贝叶斯分类器、随机森林、聚类算法、协同过滤、关联性分析、人工神经网络、BP算法、PCA、过拟合、正则化。

编程工具(语言),Python解释型、面向对象、动态数据类型高级程序设计语言,线性代数库、矩阵操作,Numpy、Pandas第三方库,机器学习库sklearn,SVM、逻辑回归,MATLAB,R,C++,Java,Go。

经典论文,最新动态研究成果,手写数据字识别,LeNet,物体目标检测,MSCNN,博客、笔记、微信公众号、微博、新媒体资讯,新训练方法,新模型。

自己动手训练神经网络,选择开源深度学习框架,主要考虑用的人多,方向主要集中视觉、语音,初学最好从计算机视觉入手,用各种网络模型训练手写数字(MNIST)、图像分类(CIFAR)数据集。

学入兴趣工作领域,计算机视觉,自然语言处理,预测,图像分类、目标检测、视频目标检测,语音识别、语音合成、对话系统、机器翻译、文章摘要、情感分析,医学行业,医学影像识别,淘宝穿衣,衣服搭配,款式识别,保险、通信客服,对话机器人智能问答系统,智能家居,人机自然语言交互。

工作问题,准确率、坏案例(bad case)、识别速度,可能瓶颈,结合具体行业领域业务创新,最新科研成果,调整模型,更改模型参数,贴近业务需求。

传统基于规则,依赖知识。统计方法为核心机器学习,重要的是做特征工程(feature engineering),调参,根据领域经验提取特征,文字等抽象领域,特征相对容易提取,语音一维时域信号、图像二维空域信号等领域,提取特征困难。深度学习,神经网络每层自动学习特征。TensorFlow深度学习开源工具。

TensorFlow支持异构设备分布式计算(heterogeneous distributed computing)。异构,包含不同成分,异构网络、异构数据库。异构设备,CPU、GPU核心协同合作。分布式架构调度分配计算资源、容错。TensorFlow支持卷积神经网络(convolutional neural network,CNN)、循环神经网络(recurrent neural network,RNN),长短期记忆网络(long short-term memory,LSTM,RNN特例)。

《The Unreasonable Effectiveness of Recurrent Neural Networks》。Tensor库对CPU/GPU透明,不同设备运行由框架实现,用户指定什么设置做什么运算。完全独立代码库,脚本语言(Python)操作Tensor,实现所有深度学习内容,前向传播、反向传播、图形计算。共享训练模型,TensorFlow slim模块。没有编译过程,更大更复杂网络,可解释性,有效日志调试。

研究人群。学者,深度学习理论研究,网络模型,修改参数方法和理论,产耱科研前沿,理论研究、模型实验,新技术新理论敏感。算法改进者,现有网络模型适配应用,达到更好立人日木,模型改进,新算法改进应用现有模型,为上层应用提供优良模型。工业研究者,掌握各种模型网络结构、算法实现,阅读优秀论文,复现成果,应用工业,主流人群。

TensorFlow工业优势,基于服务端大数据服务(谷歌云平台、搜索),面向终端用户移动端(Android)和嵌入式。模型压缩、8位低精度数据存储。

TensorFlow特性。高度灵活性(deep flexibility),数据流图(data flow graph)数值计算,只需要构建图,书写计算内部循环,自定义上层库。真正可移植性(true portability),CPU、GPU、台式机、服务器、移动端、云端服务器、Docker容器。产研结合(connect research and production),快速试验框架,新算法,训练模型。自动求微分(auto-differentiation),只需要定义预测模型结构、目标函数,添加数据。多语言支持(language options),Python、C++、Java接口,C++实现核心,Jupyter Notebook,特征映射(feature map),自定义其他语言接口。优化性能(maximize performance),线程、队列、分布式计算支持,TensorFlow数据流图不同计算元素分配不同设备,最大化利用硬件资源。

应用公司。谷歌、京东、小米、Uber、eBay、Dropbox、Airbnb。

2016.4,0.8版支持分布式、多GPU。2016.6,0.9版支持移动设备。2017.2,1.0版Java、Go实验API,专用编译器XLA、调试工具Debugger,tf.transform数据预处理,动态图计算TensorFlow Fold。

机器学习赛事。 ImageNet ILSVRC(ImageNet Large Scale Visual Recognition Challenge,大规模视觉识别挑战赛),对象检测、图像识别算法。2010年开始,最大图像识别数据库,1500万张有标记高分辨率图像数据集,22000类别,比寒用1000类别各1000图像,120万训练图像,5万验证图像,15万测试图像。每年邀请知名IT公司测试图片分类系统。Top-1,预测输出概率最高类别错误率。Top-5,预测输出概率前五类别错误率。2016,CUImage目标检测第一,商汤科技、香港中文大学;CUvideo视频物体检测子项目第一,商汤科技、香港中文大学;SenseCUSceneParsing场景分析第一,商汤科技、香港中文大学;Trimps-Soushen目标定位第一,公安部三所NUIST视频物体探测两个子项目第一,南京信息工程大学;Hikvvision场景分类第一,海康威视; Kaggel,2010年成立,数据发掘、数据分析预测竞赛在线平台。公司出数据出钱,计算机科学家、数学家、数据科学家领取任务,提供解决方案。3万到25万美元奖励。 天池大数据竞赛,阿里,穿衣搭配、微博互动预测、用户重复购买行为预测,赛题攻略。

国内人工智能公司。腾讯优图、阿里云ET、百度无人驾驶,搜狗、云从科技、商汤科技、昆仑万维、格灵深瞳。 陌上花科技,衣+(dress+),图像识别、图像搜索、特体追踪检测是、图片自动化标记、图像视频智能分析、边看边买、人脸识别分析。旷视科技,Face++,人脸识别精度,美颜,支付。科大讯飞,语音识别、语音合成、语言云、分词、词性标注、命名实体识别、依存句法分析、语义角色标注。地平线,嵌入式。

参考资料: 《TensorFlow技术解析与实战》

欢迎付费咨询(150元每小时),我的微信:qingxingfengzi

© 著作权归作者所有

共有 人打赏支持
利炳根
粉丝 11
博文 60
码字总数 136346
作品 0
深圳
【干货】史上最全的Tensorflow学习资源汇总,速藏!

一 、Tensorflow教程资源: 1)适合初学者的Tensorflow教程和代码示例:(https://github.com/aymericdamien/TensorFlow-Examples)该教程不光提供了一些经典的数据集,更是从实现最简单的“Hel...

技术小能手 ⋅ 04/16 ⋅ 0

机器学习实战篇——用卷积神经网络算法在Kaggle上跑个分

之前的文章简单介绍了Kaggle平台以及如何用支撑向量(SVM)的机器学习算法识别手写数字图片。可见即使不用神经网络,传统的机器学习算法在图像识别的领域也能取得不错的成绩(我跑出来了97....

Hongtao洪滔 ⋅ 06/18 ⋅ 0

2018 AI、机器学习、深度学习与 Tensorflow 相关优秀书籍、课程、示例链接集锦

DataScienceAI Book Links | 机器学习、深度学习与自然语言处理领域推荐的书籍列表 人工智能、深度学习与 Tensorflow 相关书籍、课程、示例列表是笔者 Awesome Links 系列的一部分;对于其他...

王下邀月熊 ⋅ 05/21 ⋅ 0

tensorflow(一) 介绍及基本操作

一、tensorflow介绍 TensorFlow是谷歌基于DistBelief进行研发的第二代人工智能学习系统,其命名来源于本身的运行原理。Tensor(张量)意味着N维数组,Flow(流)意味着基于数据流图的计算,T...

missayaaa ⋅ 04/23 ⋅ 0

送书&优惠丨对深度学习感兴趣的你,不了解这些就太OUT了!

点击上方“程序人生”,选择“置顶公众号” 第一时间关注程序猿(媛)身边的故事 TensorFlow是什么? TensorFlow的前身是谷歌大脑(google brain)团队研发的DistBelief。自创建以来,它便被...

csdnsevenn ⋅ 05/03 ⋅ 0

围绕深度学习框架,谷歌、Facebook、百度展开“三国杀”

     题图来自:视觉中国   最近很多海外企业之中在发生一种很有趣的改变,那就是AI正在脱离来其他部门附属品的角色,成为一个独立的部门或事业部。   先是CEO纳德拉对微软大动干戈的...

中国机器人 ⋅ 04/23 ⋅ 0

AI系统化风潮渐显,PaddlePaddle如何应对开发者争夺战

最近很多海外企业之中在发生一种很有趣的改变,那就是AI正在脱离其他部门附属品的角色,成为一个独立的部门或事业部。 先是CEO纳德拉对微软大动干戈地进行了重组,将原Windows部门重组成“设...

脑极体 ⋅ 04/22 ⋅ 0

机器学习者必知的5种深度学习框架

雷锋网按:本文为雷锋字幕组编译的技术博客,原标题The 5 Deep Learning Frameworks Every Serious Machine Learner Should Be Familiar With,作者为James Le。 翻译 | 杨恕权 张晓雪 陈明霏...

雷锋字幕组 ⋅ 05/03 ⋅ 0

写给人类的机器学习 六、最好的机器学习资源

六、最好的机器学习资源 原文:The Best Machine Learning Resources 作者:Vishal Maini 译者:飞龙 协议:CC BY-NC-SA 4.0 用于制定人工智能、机器学习和深度学习课程表的资源概览。 制定课...

apachecn_飞龙 ⋅ 2017/10/21 ⋅ 0

TensorFlow应用实战-15-强化学习常用环境

使用TensorFlow开发会开赛车的AI 进行游戏领域 第一个我们使用了 RNN 和 LSTM 开发作曲智能应用。 深度卷积的生成对抗网络,帮我们开发能够制图的AI DeepMind 的 AlphaGo 围棋人工智能 Alph...

天涯明月笙 ⋅ 06/13 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

从零开始搭建Risc-v Rocket环境---(1)

为了搭建Rocke环境,我买了一个2T的移动硬盘,安装的ubuntu-16.04 LTS版。没有java8,gcc是5.4.0 joe@joe-Inspiron-7460:~$ java -version程序 'java' 已包含在下列软件包中: * default-...

whoisliang ⋅ 5分钟前 ⋅ 0

大数据学习路线(自己制定的,从零开始学习大数据)

大数据已经火了很久了,一直想了解它学习它结果没时间,过年后终于有时间了,了解了一些资料,结合我自己的情况,初步整理了一个学习路线,有问题的希望大神指点。 学习路线 Linux(shell,高并...

董黎明 ⋅ 10分钟前 ⋅ 0

systemd编写服务

一、开机启动 对于那些支持 Systemd 的软件,安装的时候,会自动在/usr/lib/systemd/system目录添加一个配置文件。 如果你想让该软件开机启动,就执行下面的命令(以httpd.service为例)。 ...

勇敢的飞石 ⋅ 13分钟前 ⋅ 0

mysql 基本sql

CREATE TABLE `BBB_build_info` ( `community_id` varchar(50) NOT NULL COMMENT '小区ID', `layer` int(11) NOT NULL COMMENT '地址层数', `id` int(11) NOT NULL COMMENT '地址id', `full_......

zaolonglei ⋅ 21分钟前 ⋅ 0

安装chrome的vue插件

参看文档:https://www.cnblogs.com/yulingjia/p/7904138.html

xiaoge2016 ⋅ 24分钟前 ⋅ 0

用SQL命令查看Mysql数据库大小

要想知道每个数据库的大小的话,步骤如下: 1、进入information_schema 数据库(存放了其他的数据库的信息) use information_schema; 2、查询所有数据的大小: select concat(round(sum(da...

源哥L ⋅ 46分钟前 ⋅ 0

两个小实验简单介绍@Scope("prototype")

实验一 首先有如下代码(其中@RestController的作用相当于@Controller+@Responsebody,可忽略) @RestController//@Scope("prototype")public class TestController { @RequestMap...

kalnkaya ⋅ 51分钟前 ⋅ 0

php-fpm的pool&php-fpm慢执行日志&open_basedir&php-fpm进程管理

12.21 php-fpm的pool pool是PHP-fpm的资源池,如果多个站点共用一个pool,则可能造成资源池中的资源耗尽,最终访问网站时出现502。 为了解决上述问题,我们可以配置多个pool,不同的站点使用...

影夜Linux ⋅ 今天 ⋅ 0

微服务 WildFly Swarm 管理

Expose Application Metrics and Information 要公开关于我们的微服务的有用信息,我们需要做的就是将监视器模块添加到我们的pom.xml中: 这将使在管理和监视功能得到实现。从监控角度来看,...

woshixin ⋅ 今天 ⋅ 0

java连接 mongo伪集群部署遇到的坑

部署mongo伪集群 #创建mongo数据存放文件地址mkdir -p /usr/local/config1/datamkdir -p /usr/local/config2/data mkdir -p /usr/local/config3/data mkdir -p /usr/local/config1/l......

努力爬坑人 ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部