文档章节

学习笔记GAN003:GAN、DCGAN、CGAN、InfoGAN

利炳根
 利炳根
发布于 2017/09/09 14:03
字数 1149
阅读 21
收藏 0

精选30+云产品,助力企业轻松上云!>>>

​GAN应用集中在图像生成,NLP、Robt Learning也有拓展。类似于NLP中的Actor-Critic。 https://arxiv.org/pdf/1610.01945.pdf

Generative Adversarial Nets。构建两个网络,一个G生成网络,一个D区分网络。训练,G网络loss log(1-D(G(z))),D网络loss -(log(D(x))+log(1-D(G(z))),不是Cross Entropy。数据输入,G网络输入noise。D输入混合G输出数据及样本数据。

G网络训练,D(G(z))趋近于1,G loss最小。D网络训练 2分类,分清真实数据和生成数据,真实数据D输出趋近1,生成数据输出D(G(z))趋近0。

目标,生成数据分布和实际分布相同。D开始训练,分类能力有限,有波动,初步区分实际数据和生成数据。D训练较好,明显区分生成数据,生成数据概率下降。G网络提升,影响D分布。G网络不动,训练D,训练最优,Dg*(x)=pdata(x)/(pdata(x)+pg(x)) 。pg(x)趋近pdata(x),Dg*(x)趋近0.5,G网络、D网络处于平衡状态。网络训练最终收敛到pg(x)=pdata(x)。

G、D同步训练,G训练一次,D训练k次。D训练同量输入生成数据和样本数据计算loss(不是cross entropy分开计算)。cross entropy使D(G(z))为0,导致没有梯度,无法更新G。GAN D(G(z))最终收敛到0.5。G网络用RELU、sigmoid,D网络用Maxout和dropout。-log(D(G(z)))代替log(1-D(G(z))),训练开始加大梯度信息,整个GAN不是完美零和博弈。

GAN可以任意采样,可以使用任意可微模型(任意神经网络)。GAN生成图像更Sharp,work更好,值得推广。不好训练。confitional GAN,半监督学习。

DCGAN,使用卷积神经网络,实现有效训练,拓展维度。去掉G网络D网络的pooling layer。在G网络D网络中使用Batch Normalization。去掉全连接隐藏层。G网络最后一层用Tanh,其它层用RELU。D网络每层用LeakyRELU。

DCGAN网络模型:G网络,100 z->fc layer->reshape->deconv+batchNorm+RELU(4)->tanh64X64。D网络,版本1,conv+batchNorm+leakyRELU(4)->reshape->fc layer 1->sigmoid。D网络,版本2,conv+batchNorm+leakyRELU(4)->reshape->fc layer 2->softmax。 G网络4层反卷积,D网络4层卷积。G网络D网络反结构。D网络最终输出,一种方法,sigmoid输出0到1间单值作概率;另一种方法softmax输出两个值,真概率、假概率。 https://github.com/carpedm20/DCGAN-tensorflow https://github.com/sugyan/tf-dcgan

GAN训练后网络特征表达。DCGAN+SVM做fifar-10分类实验。D网络每层卷积通过4x4 grid max pooling 获取特征,连起来得28672向量,SVM,效果比K-means好。DCGAN用在SVHN门牌训练,效果不错。D网络无监督学习到有效特征信息。 G改变z向量,生成不同的图片。z向量线性加减,输出新图像。z向量对应特别特征。G网络无监督学习特征表达。 BEGAN生成超级逼真图像。

CGAN(Conditional Generative Adversarial Nets)。数字字段生成,输入数字,输出对应字体。G网络输入 z连接输入y。D网络输入 x连接y。minGmaxDV(D,G)=Ex~pdata[logD(x|y)]+Ez~pz(z)[log(1-D(G(z|y)))]。 GAN无监督变有监督,输入分类,输出图像。 MNIST字体生成,图像多标签。MNIST字体生成,输入数字,输出对应字体。数字one hot处理,5 对应one hot [0,0,0,0,0,1,0,0,0,0]。和100维z向量串联输入。训练调整z向量,改变输出,解决多种输出问题。输出不同形状字体。

InfoGAN,无监督CGAN。信息论,mutual information互信息。G网络输入z+c变量。c与G网络输出x 互信息最大化。神经网络训练c与输出关系。mutual information定义: I(c,G(z,c))=Ec~p(c),x~G(z,c)[logQ(c|X)]+H(c)。H为c的entropy熵,log(c)*c,Q网络基于X输出c。基于I,GAN训练目标:minGmaxDV(D,G)=λI(c,G(z,c))。网络改变:D网络输入只有x,不加c。Q网络D网络共享同一网络,最后一层独立输出。

参考资料: https://zhuanlan.zhihu.com/p/27012520

欢迎付费咨询(150元每小时),我的微信:qingxingfengzi

我创建GAN日报群,以每天各报各的进度为主。把正在研究GAN的人聚在一起,互相鼓励,一起前进。加我微信拉群,请注明:加入GAN日报群。

利炳根
粉丝 11
博文 60
码字总数 136346
作品 0
深圳
私信 提问
加载中
请先登录后再评论。
常见的生成式对抗网络(GAN\InfoGAN\BEGAN等)及tensorflow实现

版权声明:请注明出处,可以随意转载 https://blog.csdn.net/qq_39521554/article/details/84675582 代码在我的GITHUB:https://github.com/Y1ran/GAN-Network-Library-Tensorflow 下载使用前......

刺客五六柒
2018/12/01
0
0
[转]从头开始 GAN

1 前言 GAN的火爆想必大家都很清楚了,各种GAN像雨后春笋一样冒出来,大家也都可以名正言顺的说脏话了[微笑脸]。虽然目前GAN的酷炫应用还集中在图像生成上,但是GAN也已经拓展到NLP,Robot L...

osc_jww09jef
2018/06/27
2
0
GAN学习之路(一)

GAN基本概念 1,GAN:生成式对抗网络,在2014年提出的一种无监督深度学习模型。 2,GAN模型组成: 生成模型G(Generative Model)和判别模型D(Discriminative Model) 由该图可以知道很多的...

Greepex
2019/01/05
0
0
GAN综述

生成式对抗模型GAN (Generativeadversarial networks) 是Goodfellow等[1]在 2014年提出的一种生成式模型,目前已经成为人工智能学界一个热门的研究方向,著名学者Yann Lecun甚至将其称为“过...

osc_8ik0jlpr
2018/02/26
4
0
生成对抗网络(GAN)相关链接汇总

1、基础知识 创始人的介绍: “GANs之父”Goodfellow 38分钟视频亲授:如何完善生成对抗网络?(上) “GAN之父”Goodfellow与网友互动:关于GAN的11个问题(附视频) 进一步了解,应用领域扩...

osc_wp2jydi8
2018/06/21
1
0

没有更多内容

加载失败,请刷新页面

加载更多

题解-洛谷P4724 【模板】三维凸包

洛谷P4724 【模板】三维凸包 给出空间中 \(n\) 个点 \(p_i\),求凸包表面积。 数据范围:\(1\le n\le 2000\)。 这篇题解因为是世界上最逊的人写的,所以也会有求凸包体积的讲解。 三位向量的...

osc_srnunz15
41分钟前
11
0
关于RNN (循环神经网络)相邻采样为什么在每次迭代之前都需要将参数detach

关于RNN (循环神经网络)相邻采样为什么在每次迭代之前都需要将参数detach 这个问题出自《动手学深度学习pytorch》中RNN 第六章6.4节内容,如下图所示: 当时看到这个注释,我是一脸懵逼,(...

osc_rl6hs0bo
42分钟前
11
0
为什么 wait 方法要在 synchronized 中调用?

作者:Yujiaao https://segmentfault.com/a/1190000019962661 一个有难度的 Java 问题,wait 和 notify。 它们是在有 synchronized 标记的方法或 synchronized 块中调用的,因为 wait 和 no...

Java技术栈
42分钟前
18
0
【退役贴】真·蒟蒻的acm感悟&回忆

窝是一只打过铁费了很大力气仍然只能大四拿铜的辣鸡的辣鸡的辣鸡…… 窝是一只打过铁费了很大力气仍然只能大四拿铜的辣鸡的辣鸡的辣鸡…… 窝是一只打过铁费了很大力气仍然只能大四拿铜的辣鸡...

osc_sqfqhs81
43分钟前
14
0
查询反模式 - GroupBy、HAVING的理解

为了最简单地说明问题,我特地设计了一张这样的表。    一、GROUP BY单值规则   规则1:单值规则,跟在SELECT后面的列表,对于每个分组来说,必须返回且仅仅返回一个值。   典型的表现...

osc_n87a5jpv
43分钟前
11
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部