提出一种新的帧内预测要领，使用GAN来消除空间冗余。基于GAN的要领的要领使用更多的信息来孕育产生更灵活的预测模式。帧内预测被建模为一个去瑕疵过程，，使用GAN来充塞重建帧中丢掉的部分。GAN模型被插手到编码器和解码器中，与传统的预测模型进行率掉真对照。HM、VTM节约6%-8%的比特。

1.介绍

更好的预测导致更少的残差，也就需要更少的编码bit。与传统的基于解码样本的空间外推extrapolation的帧内预测差别，我们把帧内预测视作一个去瑕疵inpainting问题，给与GAN来预测像素。这篇文章的主要孝敬有：

intra预测的过程被表述为一个基于学习的inpainting task，操作GAN的generator在已经解码的block的根本上对缺掉的部分进行预测，丰裕操作邻域信息，可以更好的预测当前待编码单元。

使用提出的GAN要领对intra预测模块进行了从头设计，并进行了率掉真操纵(RDO)，以在传统要领和GAN要领之间选择最佳要领，并附加一个符号。

在编码器和解码器中都实现了基于GAN的帧内预测，提高了帧内编码性能。大量的尝试功效表白，与目前最先进的基于深度学习的intra预测要领对比，该要领具有更好的性能。

2.相关事情 intra coding inpainting image

图像inpainting的目的是填补一个图像缺掉的部分，使其完整和自然。图像inpainting的要领可以分为两类：（1）邻像素插值的要领；（2）深度学习的要领。

第一类是按照相邻信息的彼此关系来揣度缺掉的部分。Li等人提出了[23]提出了一种基于颜色标的目的块稀疏性的图像绘制要领，以连结缺掉部分的布局一致性、纹理清晰度和内在一致性。该要领操作超小波调动对多方针信号进行预计退化图像的标的目的特征。Jin等人提出了[24]摘要提出了一种基于小块稀疏的平面标的目的导数图像绘制算法，保证了缺掉区域界限元的持续性。在[25]中提出了一种基于马尔可夫随机场(MRF)的图像inpainting算法，该算法从一组patch中拔取合适的搜索空间来选择候选patch。

近年来，基于深度学习的要领也被应用到图像inpainting中。在[26]中提出了一种基于上下文像素预测的无监督视觉特征学习算法。Yu等人提出了一种新的基于深度学习的图像inpainting系统，操作自由形式的mask和输入来完成图像。该系统是由门控卷积从数百万图像中学习而来，无需特别的标签。Yang等人使用条件GANs作为主干，并引入了一种新的基于块的措施方案来不变训练阶段，以生成高质量的逼真的inpainting效果。在[29]中提出了一种基于全局GAN和局部GAN的图像融合要领。针对局部和全局一致的[30]图像，提出了一种新的图像补全要领。

3.动机和问题表达

H.264和HEVC的多种预测模式来预测都有一个错误谬误，那就是可参考的像素有限。通过尝试，测验考试了每种预测模式，发明它们不够灵活，功效都不够完美。因此，内部预测问题如图3所示，从左上、左和上的块都是可用信息，待编码块位于右下。使用邻居信息来完成inpainting任务。与HEVC中只操作最邻近的列和行的像素对比，可以操作更多的信息。别的，还可以按照生成模型生成可伸缩的预测模式。具体来说，可以生成圆形和椭圆形模式，以弥补传统内部预测的局限性。然而，直接将GAN应用于内层预测还存在一些挑战性的问题。出格是与传统inpainting要领解决缺部在中心的问题对比，缺少了周围的信息，只剩下上面和左边的方块，很难恢复布局信息。这促使我们设计一个先进的inpainting模型，专门用于内部预测任务。

4.提出的基于GAN的帧内预测要领

在本节中，我们将intra预测过程嵌入到inpainting框架中，开发了基于深度学习的intra编码方案。出格地，我们的intra预测计谋给与了基于GAN的inpainting，因为它在揣度缺掉像素方面有很好的表示。更具体地说，第4-A节讨论了用于内部预测的基于GAN的inpainting的体系布局。第4-B节对照了两种方案。操作基于GAN的模型，我们将其整合到HEVC编解码器中进行intra预测。最后，第四部分对GAN模型的训练进行了讨论。

paper | Generative Adversarial Network-Based Intra Prediction for Video Coding