2024 年 8 月 13 日，新加坡南洋理工大学（NTU）发布了一项名为 Kalman-Inspired Feature Propagation（KEEP）的新技术，专门用于修复视频中模糊的人脸。这一技术通过卡尔曼滤波原理，保持视频帧之间面部先验信息的连续性，并利用前一帧的信息引导当前帧的信息，从而提升了视频中人脸的分辨率和时间一致性。
在技术背景方面，视频人脸修复一直是计算机视觉领域的一个重要研究方向。传统的方法要么将通用视频超分辨率网络适配于人脸数据集，要么独立地在单个视频帧上应用已建立的人脸图像超分辨率模型。然而，这些方法在重建面部细节或保持时间一致性方面面临挑战。KEEP 技术的出现，为这一领域带来了新的解决方案。
KEEP 技术的应用场景包括历史影像的修复。许多历史影像由于拍摄设备的限制，分辨率较低，画面模糊。通过 KEEP 技术，这些影像可以得到提升，使得历史事件和人物更加清晰地呈现在观众面前。其次，KEEP 技术还可以用于家庭录像的修复。许多家庭录像由于年代久远，画质较差，通过 KEEP 技术，可以让这些记忆焕发新生。此外，KEEP 技术还可以应用于电影和电视节目的修复，使得经典作品以更高的画质重新呈现给观众。
KEEP 技术的三个主要创新点分别是卡尔曼滤波原理的应用、时间信息的递归利用以及跨帧注意力层的引入。
-
卡尔曼滤波原理的应用是 KEEP 技术的核心。通过这一原理，KEEP 技术能够确保视频帧之间面部先验信息的连续性，从而增强了面部细节的保持效果。具体来说，卡尔曼滤波通过对前一帧信息的估计，来指导当前帧的信息修复，从而实现了面部细节重建。
-
时间信息的递归利用是 KEEP 技术的另一大创新点。通过递归方法，KEEP 技术能够从先前恢复的帧中提取信息，以增强当前帧的恢复效果。这一方法不仅提高了修复的准确性，还提升了修复的效率。
-
跨帧注意力层的引入，使得 KEEP 技术能够更好地匹配和融合不同帧之间的特征。跨帧注意力层通过对不同帧特征的匹配和融合，不仅保证了局部时间一致性，还提高了超分辨率修复的整体效果。
在技术实现细节方面，KEEP 技术通过以下几个步骤实现视频人脸的修复：
- 系统对输入的视频进行预处理，提取每一帧的面部特征。
- 通过卡尔曼滤波，对前一帧的信息进行估计，并指导当前帧的修复。
- 系统通过递归方法，从先前恢复的帧中提取信息，以增强当前帧的恢复效果。
- 通过跨帧注意力层，对不同帧之间的特征进行匹配和融合，从而实现面部细节重建。
实验结果表明，KEEP 技术在视频人脸修复方面表现良好。在多个测试视频中，KEEP 技术不仅提升了人脸的分辨率，还保证了时间一致性，使得人脸在不同方位的修复效果一致。实验数据还显示，KEEP 技术在处理速度方面也具有优势，能够在较短时间内完成视频的修复。