光州科学技术研究所的研究人员开发出一种新的图像去噪方法

使用“路径追踪”算法渲染的高质量视觉显示通常很嘈杂。最近的基于监督学习的去噪算法依赖于外部训练数据集，训练时间长，并且在训练和测试图像不同时效果不佳。现在，来自光州科技学院、VinAI Research 和滑铁卢大学的研究人员提出了一种新颖的自我监督后校正网络，该网络可以在不依赖参考的情况下提高去噪性能。

高质量的计算机图形在游戏、插图和可视化中无处不在，被认为是视觉显示技术的最先进技术。用于渲染高质量和逼真图像的方法称为“路径跟踪”，它利用基于监督机器学习的蒙特卡洛(MC) 去噪方法。在这个学习框架中，机器学习模型首先用噪声和干净的图像对进行预训练，然后应用于要渲染的实际噪声图像(测试图像)。虽然被认为是图像质量方面的最佳方法，但如果测试图像与用于训练的图像明显不同，则此方法可能效果不佳。

为了解决这个问题，包括博士在内的一组研究人员。韩国光州科学技术学院的学生Jonghee Back和Bochang Moon副教授、越南VinAI Research 的研究科学家Binh-Son Hua和加拿大滑铁卢大学的Toshiya Hachisuka副教授在一项新研究中提出新的不依赖参考的 MC 去噪方法。他们的研究于2022 年 7 月 24 日在线发布，并发表在ACM SIGGRAPH 2022 会议论文集上。

“现有方法不仅在测试和训练数据集非常不同时失败，而且需要很长时间来准备训练数据集以对网络进行预训练。需要的是一个神经网络，可以只使用动态测试图像进​​行训练，而无需用于预训练，” Moon 博士解释了他们研究背后的动机。

为了实现这一点，该团队提出了一种新的去噪图像后校正方法，该方法包括一个自我监督的机器学习框架和一个用于图像处理的后校正网络，基本上是一个卷积神经网络。后校正网络不依赖于预训练的网络，并且可以使用自我监督学习概念进行优化，而不依赖于参考。此外，自监督模型补充并提升了传统的去噪监督模型。

为了测试提议的网络的有效性，该团队将他们的方法应用于现有的最先进的去噪方法。所提出的模型通过保留更精细的细节，证明了相对于输入图像的渲染图像质量提高了三倍。而且，整个on-fly训练和最终推理的过程只用了12秒!

“我们的方法是第一个不依赖于使用外部数据集进行预训练的方法。这实际上将缩短制作时间并提高动画和电影等基于离线渲染的内容的质量，” Moon 博士评论道，推测他们工作的潜在应用。

事实上，这种技术可能很快就会在视频游戏、增强现实、虚拟现实和虚拟世界中的高质量图形渲染中得到应用!