gan湿法刻蚀毕业论文

这是CVPR2017的文章。

在这篇论文中，作者提出了 Disentangled Representation GAN(DR-GAN) 。如下图：

如下图是之前的GAN和作者提出的DR-GAN的对比图：

DR-GAN有两个变形，一个 basic model ，它将一副图片作为输入，称为 single-image DR-GAN ，另一个是 multi-image DR-GAN ，它的输入是多个图片。

通常情况下GAN包含一个 generator ，一个 discriminator ，两者在一个问题中进行最大化，最小化的竞争。 会尽量区分出真实图片和生成图片 ，与此同时 会尽量生成一个看似真实的图片来欺骗 。如下图：

Single-Image DR-GAN和传统的GAN有两处明显的区别

根据前面所描述的，我们可以对问题进行表述： 给定一张人脸图片： 和它的label： ，前者为id，后者为姿态。我们的目标是：1.学习一个姿态无关的人脸特征表示，2.合成一张相同id但是不同姿态的人脸图片。并且，这里的 是一个多目标的CNN网络，也就是它包含了两个部分： 。 也就是说，给定输入人脸图片 ， 会产生它的id和姿态，给定一个生成人脸 ， 会努力预测它为假。如下式：

与此同时， 包含了一个encoder, 一个decoder。encoder产生一个输入人脸图片的特征表示： ，decoder输出生成的人脸图片： ，其中 是目标姿态， 是噪音。如下式：

如下图，Multi-Image的 是相同的，但是有不同的 。

需要注意的是，所有的 共享一组参数。

论文链接：

1. 介绍 图像翻译是指将图片内容从一个域转换到另一个域。这类任务一般都需要两个域中具有相同内容的成对图片作为训练数据。比如在pix2pix中，要将白天的图片转换成夜晚的图片(图 1)，那么就需要将同一个地方的白天和夜晚的图片作为一对训练数据对模型进行训练。但是这种成对的训练数据很难获得。

2. 方法

3. 效果 论文先将CycleGAN 跟当时的一些图像风格转换的方法在具有成对图像的数据集上进行比较。在这里，用完全监督的方法pix2pix作为上界。可以看到，CycleGAN 生成的图片对于除pix2pix以外的方法来说效果好很多。而相对于pix2pix，CycleGAN 生成的图片虽然不够清晰，但基本接近。

4.总结 CycleGAN 解决了pix2pix 必须使用成对数据进行训练的问题，原理比较简单，但非常有效。只需要不同域的一系列图片即可进行训练。类似的工作还有DualGAN，DiscoGAN。三者的想法和模型基本一样，发在了不同的地方。。

原文： Unpaired Multi-contrast MR Image Synthesis Using Generative Adversarial Networks 论文来自2019MICCAI 一些医学图像在某些情况下可能不容易获得，因此从能得到的图像出发生成不能得到的图像有较大的医学价值。普通的GAN不能使用一个生成器和判别器生成多种与之相对应的不同模态的图像，因此对于生成多个模态的图像需要多个模型。针对这个问题，本文提出了新的模型，使用Star-GAN来实现一到多的生成。本文引入了新的损失函数，它强制生成器生成高质量的图像，在视觉上更真实，并且有很好的结构相似性。在IXI数据集上学习所有可能的映射（T1,T2,PD,MRA），定性和定量都比较好。 因为深度学习的训练需要很多数据，但是标注代价昂贵因此为了提高深度学习的表现，通过生成一些图像的方法来实现数据增广是有研究价值的。传统方法通过cycle-gan 、c-gan 、wasserstein-gan或者pix2pix来实现一对一的生成。我们使用star-gan和U-NET来实现一对多的生成。模型能够以无监督的形式训练，这样能够使生成器学习不同种模态的通用的几何特征。无监督的方式也消除了成对数据的要求，因此对数据的限制较小。 在损失方面，使用结构相似性来约束小细节特征。除此之外还采用了‘学习感知图像块相似性’（ Learned Perceptual Image Patch Similarity (LPIPS)不知道怎么翻译，目前第一次看到。）模型实现1输入4输出。 能够实现四种模态之间的转化，输入一个和一个目标域能够产生出相对的图像。 U-net用来实现两种生成，一种是输入一个域和另一个域的标签，通过深度级联（depth-wise concatenat）然后生成另一个域的假的图像。另一中是输入假的图像和原始的标签生成由假图重建的图像。第一步的生成用来计算对抗损失和分类损失。第二部分的生成中用来计算相似性的损失包括（L1范数，DSSIM,LPIPS） 过程和star-gan一样 本文使用正则化的带有梯度惩罚的Wassersteing GAN (WGAN-GP)，能够稳定学习，和增强生成图像的质量。定义如下： 第一项损失是WGAN-GP损失，第二项是正则化项 x' and x''是与x相近的相距很近的数据。D_是从第二层到最后一层判别器的输出。 这部分看的不是太明白。具体可能因为WGAN没有看过把。应该原始论文中有，需要后面完善。 使生成器生成正确域的图像 第一个式子使真图的分类损失，第二个是假图的分类损失。生成器是Unet结构。判别器是基于PatchGAN的判别器。 使用LXI数据集 IXI dataset emmmm不应该和star-gan比较把。应该和介绍中提到的其他方法比较把。cycle，cgan之类的把。star-gan直接应用在这上面肯定效果不是很好啊。这个比较个人觉得无意义。