文档章节

跟我上手深度学习: 五分钟尝试第一个深度学习(Caffe)训练和图像分类(详细图文步骤)

l
 lindylin
发布于 2016/06/05 17:11
字数 1156
阅读 3241
收藏 10

申请深度学习的开发环境

Supervessel超能云(www.ptopenlab.com)上可以免费申请深度学习的开发环境。用户可以免费注册一个用户帐号,无须任何信用卡信息,就可以申请。

申请了用户帐号后,进入“Supervessel Cloud”申请虚拟机“Apply VM"。如下图:

登陆之后,进入云平台的控制台(dashboard),选择界面顶部的“More services”,出现"Market Image"的选项,如下图:

进入“Market Image"之后,选择“深度学习”类型下的“GPU Accelerated Caffe Deep Learning Development Environment", 如下图:

点击“Details”,即会弹出对话框,确认要启动一个新的带GPU加速的Caffe深度学习开发环境(容器)。大概过1到2分钟,用户的控制台就可以显示这个新的容器(docker)。在最左边的按钮“More actions"下拉,可以选择“Console“,来进入基于网页的容器登陆环境。或用户可以使用VPN来使用别的ssh终端软件(如putty)进行登陆。关于如何安装和配置VPN,详见以下链接:https://services.ptopenlab.com/mediawiki/index.php/VPN%E7%9A%84%E4%BD%BF%E7%94%A8/en

初次登陆该深度学习容器,系统会强制用户更改用户密码(帐号为opuser,密码查看控制台信息)和root的用户密码(密码查看控制台信息)。至此,准备环境就绪。

深度学习模型训练

在这一部分,我们将以CIFAR10为例子,来给大家介绍如何用Caffe进行最简单的深度学习模型训练。CIFAR10和CIFAR100是很有名并被广泛使用的图像数据集。CIFAR10相对比较简单,是由60000张32X32像素的彩色图片组成,分为10类,每类含6000张图片。这10类图片分别是飞机、车、鸟、猫、鹿、狗、青蛙、马、船和卡车。

我们要做的第一步是下载训练的CIFAR10数据集。在容器中,切换到root权限,执行如下命令:

cd /home/opuser/caffe-master-20150813
./data/cifar10/get_cifar10.sh

get_cifar10.sh就是执行数据集下载的脚本,整个数据集大概100多兆。接着执行:

./examples/cifar10/create_cifar10.sh

create_cifar10.sh是对数据集进行预处理,以便能被Caffe直接处理,并计算数据集的均值。

之后,执行如下命令就可以开始进行模型训练了:

./examples/cifar10/train_quick.sh

在train_quick.sh这个脚本中,主要的输入是 examples/cifar10/cifar10_quick_solver.prototxt 这个文件。这是对这个模型的配置文件,内容如下:

# The train/test net protocol buffer definition
net: "examples/cifar10/cifar10_quick_train_test.prototxt"
# test_iter specifies how many forward passes the test should carry out.
# In the case of MNIST, we have test batch size 100 and 100 test iterations,
# covering the full 10,000 testing images.
test_iter: 100
# Carry out testing every 500 training iterations.
test_interval: 500
# The base learning rate, momentum and the weight decay of the network.
base_lr: 0.001
momentum: 0.9
weight_decay: 0.004
# The learning rate policy
lr_policy: "fixed"
# Display every 100 iterations
display: 100
# The maximum number of iterations
max_iter: 4000
# snapshot intermediate results
snapshot: 4000
snapshot_prefix: "examples/cifar10/cifar10_quick"
# solver mode: CPU or GPU
solver_mode: GPU

该文件定义了深度神经网络的文件 cifar10_quick_train_test.prototxt,迭代次数4000,以及使用GPU进行模型训练等重要参数。

在模型训练的过程中,每迭代100次,会打印一次输出结果。直到最后输出:

Snapshotting to binary proto file examples/cifar10/cifar10_quick_iter_4000.caffemodel
Snapshotting solver state to binary proto fileexamples/cifar10/cifar10_quick_iter_4000.solverstate
Iteration 4000, loss = 0.599427
Iteration 4000, Testing net (#0)
Test net output #0: accuracy = 0.7159
Test net output #1: loss = 0.863218 (* 1 = 0.863218 loss)
Optimization Done.

首先,训练后得到的模型存在文件 cifar10_quick_iter_4000.caffemodel 中,该模型文件将用于后面进行测试和分类应用。solverstate文件比起.caffemodel文件多了模型名称、当前迭代次数等。solverstate是用来恢复训练的,防止意外终止而保存的快照(有点像断点续传的感觉)。

在训练过程,Caffe会根据.prototxt文件的定义,随机选取数据集中的一部分数据进行模型精度测试,所以本次训练所得到的模型精度为 0.7159.

至此,我们第一个模型训练就完成了。

利用训练模型进行图片分类

深度学习的目的是要让我们的应用获得认知能力。假设我们要开发一个图片分类应用,我们已经使用Caffe通过前面的步骤训练得到一个懂得10个分类的学习模型。在这部分,我们要做的是如何把这个模型使用起来,为我们的应用服务。

 

© 著作权归作者所有

l
粉丝 23
博文 18
码字总数 16651
作品 0
海淀
私信 提问
如何评价百度刚刚开源的 Paddle 平台?

百度开源了其深度学习平台Paddle,引发了挺多人工智能领域开发者的兴趣,包括一些之前一直在Tensorflow和Caffe上练手的开发者。不过鉴于深度学习的开源平台目前并不多,作为开发者也作为热心...

局长
2016/09/01
14.4K
18
机器学习和深度学习的最佳框架大比拼

在过去的一年里,咱们讨论了六个开源机器学习和/或深度学习框架:Caffe,Microsoft Cognitive Toolkit(又名CNTK 2),MXNet,Scikit-learn,Spark MLlib和TensorFlow。如果把网撒得大些,可...

凝小紫
2017/02/05
26.9K
3
AI大神告诉你如何用深度学习技术去开发产品

当前,人工智能领域的相关技术人才的薪酬一直在走高。或许,您已经在踏上走向人工智能行业的路上了。但是,路上却并不那么顺利。 例如: 好不容易搞懂了一种 AI 算法,代码也写好了,结果 CP...

OSC_Lucy
2018/03/27
509
0
通过阿里云容器服务上手Caffe + GPU训练

深度学习作为近几年推动人工智能在机器视觉、语音、自然语言处理等领域取得显著进展的主要方法,已经发展成一门相对成熟的学科。同时,随着越来越多科技企业和科研机构的投入,深度学习的基础...

idooup
2018/07/13
0
0
五分钟入门深度学习(附学习案例)

本指南适用于所有人,因此不会涉及高等数学。 背景 人工智能(AI)与机器学习(ML) 人工智能是人类智慧在计算机中的体现。 人工智能是计算机科学的一个分支,它企图了解智能的实质,并生产出...

实验楼
2018/06/11
0
0

没有更多内容

加载失败,请刷新页面

加载更多

【AI实战】手把手教你深度学习文字识别(文字检测篇:基于MSER, CTPN, SegLink, EAST等方法)

文字检测是文字识别过程中的一个非常重要的环节,文字检测的主要目标是将图片中的文字区域位置检测出来,以便于进行后面的文字识别,只有找到了文本所在区域,才能对其内容进行识别。 文字检...

雪饼
今天
5
0
思维导图XMind 8 Pro 绿化方法(附序列号)

按部就班: Step 1 -全新下载最新版本的 Xmind 8(注必须是英文官方的版本,中文代{过}{滤}理网站的版本修改过,无法使用pj); Step 2 -安装完毕后,点击文末的下载按钮下载pj补丁文件包,将...

一只小青蛙
今天
10
0
数据结构(ER数据库)设计规范

表命名规范 表命名的规则分为3个层级,层级之间通过_分割,例如b_r_identity、d_l_identity。规约为: [leavel]_[type]_[name] [leavel] 表示数据库表的层级和功能,分为: s:业务无关的系统...

随风溜达的向日葵
今天
5
0
阿里Sentinel控制台源码修改-对接Apollo规则持久化

https://github.com/alibaba/Sentinel/wiki/%E5%9C%A8%E7%94%9F%E4%BA%A7%E7%8E%AF%E5%A2%83%E4%B8%AD%E4%BD%BF%E7%94%A8-Sentinel 动态规则扩展 https://github.com/alibaba/Sentinel/wiki......

jxlgzwh
昨天
8
0
在Linux系统中创建SSH服务器别名

如果你经常通过 SSH 访问许多不同的远程系统,这个技巧将为你节省一些时间。你可以通过 SSH 为频繁访问的系统创建 SSH 别名,这样你就不必记住所有不同的用户名、主机名、SSH 端口号和 IP 地...

老孟的Linux私房菜
昨天
12
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部