机遇 research之路其修远兮,我将上下而求索

Generative Adeversarial Networks: Overview

2019-02-01
cwlseu

引言

电影《a beautiful mind》中文译作《美丽心灵》,mind既有头脑的意思,又有心灵的意思,应该是导演故意让它产生了歧义。哦,跑偏了,这部电影的主人公约翰-纳什通过战胜同学们的种种鄙视,压力等,在去追美女的过程中想到了博弈论的原型。 而这个博弈论就是今天学习的GAN的理论基础。

博弈这个词,在中国文化中经常见到,可以想象成两位老者在下棋,正可谓棋逢对手,真是都想杀的对方片子不留,最后以平局收场。还有《古董局中局》中的斗宝, 双方分别拿出自己的最得意的一个赝品,让对方进行判断,这是真的还是假的,假在哪里等等。GAN的训练其实就是在这么一个不断斗宝的过程,不过是一个是高高手,一个是学徒,GAN训练过程就是学徒成长为高高手的过程。等到结束的时候,这个学徒造的赝品已经达到了这个高高手不能识别出来的程度。

定义

GANs是半监督和无监督中的新兴技术。通过竞争学习一对神经网络模型来实现对数据的高纬度表示。在其中通过 骗子(Genrator G)与专家(Discriminator D)之间的博弈,骗子想绘制出真品的来,专家来鉴定两个作品哪个真品哪个是赝品,差距在哪里。两个网络都是在学习的,就像骗子模仿技术越来越厉害,但是专家也是越来越强的,“魔高一尺,道高一丈”.

$G: G(z) -> R^{|x|}$

$D: D(x) -> (0, 1)$

GANs的组成

  1. Fully Connected GANs: G和D都是使用全连接神经网络

  2. Convolutional GANs 特别适合与Image data的生成,但是使用相同表达能力的CNNs作为生成器和判别器,是很难训练的。其中LAP-GAN(Laplacian pyramid of adversarial networks)使用多尺度思想,将G的generation 过程分解为生成一个laplacian pyramid的过程.如果卷积网络使用deep convolution的话,即使DCGANs,通过利用stride和fractionally-strided convolutions在空间域中下采样和上采样操作。

Generative Adversarial Networks (GANs)

Lists (Table is borrowed from tensorflow-generative-model-collections)

Name Paper Link Value Function
GAN Arxiv
LSGAN Arxiv
WGAN Arxiv
WGAN_GP Arxiv
DRAGAN Arxiv
CGAN Arxiv
infoGAN Arxiv
ACGAN Arxiv
EBGAN Arxiv
BEGAN Arxiv

GAN的应用场景

图像生成

图像转换

场景合成

人脸合成

文本到图像的合成

风格迁移

图像超分辨率

图像域的转换

图像修复

MaskGAN

GAN在图像领域建树颇多,但是在文本领域作用并不是很大,主要是NLP中的词的数据都是离散数据,GAN不适合学习离散的数据分布,但是并不意味着没法学,Google brain的团队发明了一个结合强化学习的MaskGAN,可以用作完型填空,具体任务是补全句子中的缺失部分。

参考链接

[1].GAN-collections

[2]. https://blog.csdn.net/qq_25737169/article/details/80874717

[3]. MaskGAN: Better Text Generation via Filling in the____

The GAN Zoo

Every week, new GAN papers are coming out and it’s hard to keep track of them all, not to mention the incredibly creative ways in which researchers are naming these GANs! So, here’s a list of what started as a fun activity compiling all named GANs!

You can also check out the same data in a tabular format with functionality to filter by year or do a quick search by title here.

Contributions are welcome. Add links through pull requests in gans.tsv file in the same format or create an issue to lemme know something I missed or to start a discussion.

Check out Deep Hunt - my weekly AI newsletter for this repo as blogpost and follow me on Twitter.

|版权声明:本文为博主原创文章,未经博主允许不得转载。


相似博文

欢迎评论