深度最优传输：一种实用的用于逼真图像修复的算法
摘要：一种控制预训练模型的感知质量和/或均方误差（MSE）的图像恢复算法的提出，测试时可以在两者之间进行权衡。我们的算法是少样本的：给定由模型恢复的大约十几个图像，它可以显著改善模型对新恢复图像的感知质量和/或MSE，无需进一步训练。我们的方法受到最小MSE（MMSE）预测器和在完美感知质量约束下最小化MSE的预测器之间的最近理论结果的启发。具体而言，已经证明，通过最优地将前者的输出转移，使其分布与源数据匹配，可以得到后者。因此，为了改善最初训练以最小化MSE的预测器的感知质量，我们通过在变分自动编码器的潜在空间中进行线性变换来近似最优传输，我们使用经验均值和协方差在闭合形式中计算。超越理论，我们发现将相同的过程应用于最初训练以实现高感知质量的模型，通常会进一步提高它们的感知质量。通过将结果与模型的原始输出插值，我们可以在牺牲感知质量的同时改善MSE。我们在任意尺寸的通用内容图像上应用我们的方法进行了说明。
作者：Theo Adrai, Guy Ohayon, Tomer Michaeli and Michael Elad
论文ID：2306.02342
分类：Artificial Intelligence
分类简称：cs.AI
提交时间：2023-06-06