学院硕士生论文被人工智能顶级期刊IEEE TPAMI录用

近日，学院陈震中教授课题组2018级硕士生程先航的论文“Multiple Video Frame Interpolation via Enhanced Deformable Separable Convolution”被人工智能顶级期刊《IEEE Transactions on Pattern Analysis and Machine Intelligence》（《模式分析与机器智能汇刊》IF=17.86）录用。本研究受到国家自然科学基金等项目的资助。

在视频处理领域当中，视频的时间分辨率增强是一个充满挑战的任务。视频的时间分辨率增强，又称视频插帧，是利用已有的、连续的视频帧来合成中间时刻不存在的、新的视频帧。该技术在多个场景中被广泛应用。随着深度学习的崛起和算法的更新换代，视频的时间分辨率增强算法逐渐形成了两大主要派系——基于光流的算法和基于卷积核的算法。基于光流的算法是首先对中间光流或者光流的变种进行估计，然后再根据光流和输入图像进行像素的合成。基于卷积核的算法是为每一个待合成的像素都估计一组卷积核分别卷积输入的两帧图像。这类算法规避掉了在估计光流当中会出现的耗时、精度不准等影响。然而，当帧与帧之间的像素运动大于预先设定的卷积核尺寸时，基于卷积核的算法就会生成不理想的结果。此外，现有的这类算法的另一个缺点无法生成中间任意时刻的视频帧。

图：不同算法帧合成结果细节比较。从左到右：叠加法；IJCV2019；TPAMI2021；CVPR2019；我们提出的方法（基于L_c损失函数）；我们的方法（基于L_f损失函数）；原图。

本文尝试解决上述基于卷积核的算法的若干缺点，提出了一种新型的基于自适应可形变分离卷积的算法，在学习一组形变偏移、掩码和残差共同决定合成结果，使得算法可以使用小尺寸卷积核来参考非邻域信息从而处理大幅度的运动的同时，将时刻信息作为输入变量来 影响帧合成结果，从而实现中间任意时刻帧的生成。通过充分的实验和对比分析，在多个数据集上验证了提出算法的优越性和可靠性。

据悉，这是程先航同学硕士阶段继AAAI2020，IEEE TCSVT2020之后第三篇一作顶级期刊/会议论文。至此，陈震中教授课题组2018级硕士研究生已经一作发表TPAMI/TIP/ISPRS P&RS/TGRS/TCSVT等SCI期刊论文8篇，CVPR/AAAI/IJCAI等CCF A类会议论文4篇。