文档章节

最漫长的一次训练

q
 qinhui99
发布于 2017/08/22 16:37
字数 316
阅读 53
收藏 0
点赞 0
评论 0

这几天为了参加Kaggle某图像处理比赛,训练了一个大尺寸的u-net模型。一共训练了42轮,每轮3800秒以上,花费了将近48个小时。此外,为了生成提交文件,又额外花费了7个小时。两天半的时间就这样没了。

 

过程之所以这么漫长,是因为精度要求比较高(0.997以上才有希望拿到好的名次)。输入图片尺寸1024*1024,经过实验,只有采用了1024个以上filter的卷积层组成的U-NET,才有可能达到这样的精度。对于这个复杂的U-NET,我的GTX 1060 6G显存的GPU真地吃不消。一个批次最多只能训练两条数据,否则就内存溢出。如果有12G显存的GPU的话,训练时间可以减少一半以上。

 

这次漫长的训练,最大的收获是:学会了耐心等待,确认了带不断衰退的学习率的SGD优化器是可靠的。

------------------------------------------------------------------------------------------------------------

0823,更新

尝试训练1280x1280尺寸的图片,结果一次只能训练一张图片,训练一轮需要5430秒,实在是太慢了。考虑用mxnet方案来替换tensorflow。

 

© 著作权归作者所有

共有 人打赏支持
q
粉丝 63
博文 72
码字总数 32863
作品 0
深圳
程序员
理工男的文科梦 —— LSTM深度学习写春联

笔者作为一名根正苗红的理工男,内心却常常有很多文艺青年才会有的想法,例如写首诗、做首词,甚至包括春节写副对联,空有一番愿望却胸无点墨。随着对机器学习和深度学习的了解,逐渐萌生了使...

biggeng
2017/10/26
0
0
从零开始深度学习-1 TensorFlow的环境搭建

前言 该系列的文章重点不放在理论的研究方面,而是通过实践来不断了解理论。 什么是机器学习 机器学习,顾名思义,让机器去实现人类的学习行为。传统的编程中,如果需要解决一个问题,需要程...

养薛定谔的猫
01/10
0
0
Across the Channel

原文 Debbie hart is going to swim across the English Channel tomorrow. She is going to set out from the French coast at five o'clock in the morning. Debbie is only eleven years ......

Robinson_lu
2015/08/11
0
0
GoogLeNet的心路历程(五)

今年年初的时候,Szegedy写了GoogLeNet的第三篇续作,如下: [v4] Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning,top5 error 3.08% Szegedy读了此论......

Traphix
2016/08/08
0
0
数据蒋堂 | 人工智能中的“人工”

自从AlphaGo赢了之后,人工智能就变得非常热门了。不过,大家在关注“智能”时,却很少把注意力放在“人工”上,似乎感觉上了人工智能之后,一切都能自动化了。其实,这份智能的背后有着大量...

技术小能手
04/20
0
0
AlphaZero 实战:从零学下五子棋(附代码)

本文作者一缕阳光,本文首发于知乎专栏强化学习知识大讲堂,AI 研习社获其授权转载。 2 个多月前,AlphaGo Zero 横空出世,完全从零开始,仅通过自我对弈就能天下无敌,瞬间刷爆朋友圈,各路...

AI研习社
01/14
0
0
caffe学习

训练图片1075张,测试图片360 参数设置 net: "./imagetrainval.prototxt"test_iter: 271test_interval: 100base_lr: 0.01display: 20max_iter: 25000lr_policy: "step"gamma: 0.1momentum: 0......

运维小成
01/23
0
0
caffe之solver.prototxt文件参数设置

caffe solver参数意义与设置 batchsize:每迭代一次,网络训练图片的数量,例如:如果你的batchsize=256,则你的网络每迭代一次,训练256张图片;则,如果你的总图片张数为1280000张,则要想将...

xyyhlark01
03/22
0
0
机器学习--第六讲--K折交叉验证

1.K折交叉验证 在之前的任务中,我们学习了交叉验证,是一个在新的数据集上来检验机器学习模型的精确性,该模型没有受过训练。具体的说,我们将专注于保持验证技术,它涉及: 。 将所有的数据...

Betty__
2016/10/27
396
0
卷积神经网络的小基础知识

一张图就够了 batchsize:批大小。在深度学习中,一般采用SGD训练,即每次训练在训练集中取batchsize个样本训练; iteration:1个iteration等于使用batchsize个样本训练一次; epoch:1个epo...

水球喵
01/16
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Python PIPEs

https://www.python-course.eu/pipes.php https://www.tutorialspoint.com/python/os_pipe.htm

zungyiu
2分钟前
0
0
gRPC学习笔记

gRPC编程流程 1. proto文件定义 proto文件用于定义需要通过gRPC生成的接口,可以理解为接口定义文档 2. 通过构建工具生成服务基类代码-Maven或Gradle 3. 服务端开发 服务端实现类须实现通过构...

OSC_fly
21分钟前
0
0
Docker Mac (三) Dockerfile 及命令

Dockerfile 最近学习docker的时候,遇到一件怪事,关于docker镜像可能会被破坏,还不知道它会有此措施 所以需要了解构建Dockerfile的正确方法 Dockerfile是由一系列命令和参数构成的脚本,这些命...

___大侠
48分钟前
0
0
Android Studio+NDK+Cmake 移植FFmpeg-4.0.2命令行工具

一、编译 参考大神的帖子,亲测一次编译成功:https://blog.csdn.net/bobcat_kay/article/details/80889398 鉴于以前查文档的经验,这里附上编写例子的时间:2018年7月22日 我用的是ubantu,...

她叫我小渝
49分钟前
0
0
mysql创建数据库

登录MYSQL mysql -u root -p 脚本创建数据库WeChat,并制定默认的字符集是utf8mb4。 CREATE DATABASE Wechat DEFAULT CHARSET utf8mb4 COLLATE utf8mb4_general_ci; 授权 grant all......

niithub
今天
0
0
svn: Unable to connect to a repository URL 的解决方案

错误图示: 解决办法:清除本地保存的授权信息; 1:右键点击本地文件夹,选择设置; TortoiseSVN -> Settings 2:在弹出的对话框中选择 Saved Data, 右侧选择:授权地方清理所有。 然后点确...

宁哥实战课堂
今天
1
0
sleep与wait的区别

Thread.sleep(XXX)方法消耗CPU吗? 这个知识点是我之前认识一直有错误的一个知识点,在我以前的认识里面,我一直认为Thread.sleep(1000)的这一秒钟的时间内,线程的休眠是一直占用着CPU的时间...

码代码的小司机
今天
1
0
20位活跃在Github上的国内技术大牛 leij 何小鹏 亚信

本文列举了20位在Github上非常活跃的国内大牛,看看其中是不是很多熟悉的面孔? 1. lifesinger(玉伯) Github主页: https://github.com/lifesinger 微博:@ 玉伯也叫射雕 玉伯(王保平),...

海博1600
今天
1
0
Mybatis收集配置

一、Mybatis取Clob数据 1、Mapper.xml配置 <resultMap type="com.test.User" id="user"> <result column="id" property="id"/> <result column="json_data" property="jsonData" ......

星痕2018
今天
1
0
centos7设置以多用户模式启动

1、旧版本linux系统修改inittab文件,在新版本执行vi /etc/inittab 会有以下提示 # inittab is no longer used when using systemd. # # ADDING CONFIGURATION HERE WILL HAVE NO EFFECT ON......

haha360
今天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部