文档章节

关于迁移学习和模型微调的一些总结

q
 qinhui99
发布于 2017/05/03 09:44
字数 413
阅读 1088
收藏 0

迁移学习和模型微调有些共同点,它们都是拿一些现成有效的模型做些修改或者集成,然后用来解决一些新的业务问题。之所以有这样的idea,是因为训练一个大型的深度学习模型实在是太耗费计算机资源和时间,能最大程度地重用已经训练好的大型深度学习模式是一个不错的想法。对迁移学习感兴趣的朋友,还可以看看这篇《2017年最值得关注的科学概念之“迁移学习”》

 

下面是我最近收集到的迁移学习和模型微调的各种框架实现案例。

基于Keras的案例:

https://github.com/ypwhs/dogs_vs_cats

https://zhuanlan.zhihu.com/p/26693647

 

基于Caffe的案例:

http://blog.csdn.net/u012526120/article/details/49496617

 

基于Tensorflow的案例:

http://blog.csdn.net/mao_xiao_feng/article/details/54944850

 

基于Mxnet的案例:

http://www.tuicool.com/articles/RrMf2yr

mxnet官方自带的例子, \mxnet\example\image-classification\fine-tune.py

 

fine-tune.py这个例子比较简单。大概的原理是加载一个预训练的大型神经网络,然后把该神经网络的大部分层次固定不变,只修改最后输出分类相关的全连接层。举例,把ImageNet 1000个分类的整个模型加载,然后替换掉它的最后一层全连接层,换成我们需要识别的十几个分类的全连接层。完成替换后,我们就可以用这个微调模型对我们自己的少量数据进行训练了。

© 著作权归作者所有

q
粉丝 66
博文 73
码字总数 34091
作品 0
深圳
程序员
私信 提问
NLP领域中更有效的迁移学习方法

摘要: 迁移学习在计算机视觉领域中应用广泛,而NLP领域才刚刚起步。本文介绍了NLP领域中的两种迁移学习方法,分别是与训练的嵌入层及微调模型,嵌入层目前应用较为广泛,但微调模型后来者居...

阿里云云栖社区
2018/10/08
0
0
入门 | 迁移学习在图像分类中的简单应用策略

  选自Miguel Blog   作者:Miguel González-Fierro   机器之心编译   参与:陈韵竹、刘晓坤      迁移学习(Transfer Learning)预期将成为图像分类领域机器学习商业成就的下一...

机器之心
2018/01/04
0
0
干货 | 只有100个标记数据,如何精确分类400万用户评论?

在本文中,我们将介绍自然语言处理(NLP)在迁移学习上的最新应用趋势,并尝试执行一个分类任务:使用一个数据集,其内容是亚马逊网站上的购物评价,已按正面或负面评价分类。然后在你可以按...

技术小能手
2018/09/03
0
0
只有100个标记数据,如何精确分类400万用户评论?

在本文中,我们将介绍自然语言处理(NLP)在迁移学习上的最新应用趋势,并尝试执行一个分类任务:使用一个数据集,其内容是亚马逊网站上的购物评价,已按正面或负面评价分类。然后在你可以按...

技术小能手
2018/08/22
0
0
浅谈迁移学习图像分类

Coursera创始人兼斯坦福大学副教授吴恩达声称,迁移学习将成为机器学习取得商业成功的下一个驱动力。 迁移学习是一种机器学习技术,在一个特定的数据集上,重新利用已经训练过的卷积神经网络...

【方向】
2017/12/29
0
0

没有更多内容

加载失败,请刷新页面

加载更多

java通过ServerSocket与Socket实现通信

首先说一下ServerSocket与Socket. 1.ServerSocket ServerSocket是用来监听客户端Socket连接的类,如果没有连接会一直处于等待状态. ServetSocket有三个构造方法: (1) ServerSocket(int port);...

Blueeeeeee
34分钟前
4
0
用 Sphinx 搭建博客时,如何自定义插件?

之前有不少同学看过我的个人博客(http://python-online.cn),也根据我写的教程完成了自己个人站点的搭建。 点此:使用 Python 30分钟 教你快速搭建一个博客 为防有的同学不清楚 Sphinx ,这...

王炳明
昨天
4
0
黑客之道-40本书籍助你快速入门黑客技术免费下载

场景 黑客是一个中文词语,皆源自英文hacker,随着灰鸽子的出现,灰鸽子成为了很多假借黑客名义控制他人电脑的黑客技术,于是出现了“骇客”与"黑客"分家。2012年电影频道节目中心出品的电影...

badaoliumang
昨天
13
0
很遗憾,没有一篇文章能讲清楚线程的生命周期!

(手机横屏看源码更方便) 注:java源码分析部分如无特殊说明均基于 java8 版本。 简介 大家都知道线程是有生命周期,但是彤哥可以认真负责地告诉你网上几乎没有一篇文章讲得是完全正确的。 ...

彤哥读源码
昨天
13
0
jquery--DOM操作基础

本文转载于:专业的前端网站➭jquery--DOM操作基础 元素的访问 元素属性操作 获取:attr(name);$("#my").attr("src"); 设置:attr(name,value);$("#myImg").attr("src","images/1.jpg"); ......

前端老手
昨天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部