生成对抗神经网络GAN生成对抗神经网络是由一对互相对抗的网络组成的深度学习神经网络。其中的一个网络名为生成式网络,负责尝试生成一些看起来很真实的东西,例如基于数百万张狗的图片,合成一张虚构的狗的图片,另一个网络名为判别式网络,它会把生成式网络所合成的狗的图片与真实的狗的图片进行比较,确定生成式网络的输出是真是假,生成式网络会根据判别式网络的反馈,重新进行自我训练,努力让损失函数最小化,即缩小真实图片与合成图片之间的差异,朝着下一次能够成功愚弄判别式网络的目标迈进而判别式网络也会重新进行自我调整,努力让损失函数最大化,希望练就火眼金睛,不被生成式网络蒙骗。
1、生成式模型入门:GAN与VAE——“以假乱真”的哲学在图像处理中,比较常见的任务有识别、检测、追踪等,这些任务的模型通常在训练阶段通过参数估计学得如何提取输入图像的特征,并建立输入图像与输出之间的映射,在应用阶段之间提取输入图像的特征,以得到相应的结果。但有这样一类特殊的模型,其参数估计的目的不是通过提取特征来建立输入输出之间的映射,而是学习训练数据的分布,从而模型在应用阶段能够生成与训练数据相似的图像,通常这些图像与真实图像极为相似,我愿称之为“以假乱真”的哲学,这类模型就是生成式模型。
2、LSGAN:最小二乘生成对抗网络解决问题:解决传统GAN生成图片质量不高,训练不稳定的问题。做法:将传统GAN的交叉熵损失函数换成最小二乘损失函数本篇主要通过GAN对比来学习LSGAN通过例子介绍:使用位于决策边界正确侧但仍然远离真实数据的假样本更新生成器时,交叉熵损失函数将导致梯度消失的问题。如图(b)所示,当我们使用假样本(品红色)通过使鉴别器相信它们来自真实数据来更新生成器时,它几乎不会引起错误,因为它们在正确的一侧,既决策边界的真实数据面。
问题总结:在交叉熵损失函数情况下,判别器判定真实面的假数据距离真实数据较远,效果不足。基于这一观察,我们提出了最小二乘生成对抗网络,它采用最小二乘损失函数作为鉴别器,最小二乘损失函数能够将伪样本移向决策边界,因为最小二乘损失函数会惩罚位于决策边界正确一侧很远的样本。如图(c)所示,最小二乘损失函数将惩罚假样本(品红色),并将它们拉向决策边界,使它们被正确分类。