【无标题】XVFI: eXtreme Video Frame Interpolation （ICCV oral）「建议收藏」

这篇文章做了什么？

以 X4K1000FPS 数据集的特点，做了视频插帧（Video Frame interpolation i.e. VFI）的任务。提出了XVFI 模型，具体包括 (BiOF-I) 和 (BiOF-T)两个网络模型。(BiOF-I) 的主要任务是求输入连续两帧的双向光流，(BiOF-T)是根据求出的光流和输入的两帧warp出中间帧（Intermediate frame）。

出发点

VFI 现在的主要存在的挑战有：两帧之间的像素点存在遮挡（比如在前一帧I1存在运动的目标，而在后一帧I2中的运动目标被其他运动遮住）、大运动、光线变化等。
此篇论文的出发点是：现在的VFI任务主要是在低分辨率数据集进行插帧，当在高分辨率的数据集（4K)上进行VFI时，则效果受限。因为高分辨率的数据集中包含（Such 4K videos often contain frames of fast motion with extremely large pixel displacements）像素点快速运动的帧，卷积神经网络中的有限的感受野处理像素大的运动受限。因此提出了XVFI 模型来解决以上问题。

贡献点

1. 创建了一个数据集：X4K1000FPS (4K@1000fps)，其中包含各种纹理（textures）、超大的运动（extremely large motions）、缩放（zoomings）和遮挡（occlusions）。
2. 提出了complementary flow reversal（CFR)，从时间t到输入帧产生稳定的光流估计。
3. 提出的XVFI-Net可以从任何缩小的输入图片，可根据输入分辨率或运动幅度来调整缩放尺度级别和尺度的数量。

XVFI 模型

如上图，首先它是基于递归的多尺度的共享结构模型，包括BiOF-I和 BiOF-T两个子网络。
XVFI模型是级联的网路，可以对输入的图像进行下采样，在每个下采样的图像上求解中间帧。
输入：时间上连续的两帧图片I1和I2。
输出：中间帧It。

BiOF-I

首先获取I1和I2的特征图，获取第0级别的特征图C0和C1，然后进行下采样（每次2倍的下采样），至于下采样几个几倍是自己可以控制的（代码中可以操作）。然后从最底层下采样的图像中依次向上计算。

BiOF-T

通过公式1-4得到双向中间光流（complementary flow reversal（CFR)）。然后通过如下步骤进行操作得到：

最后通过公式5得到最后的中间帧：

第一次写博客，有不对的地方还请指出。

今天的文章【无标题】XVFI: eXtreme Video Frame Interpolation （ICCV oral）「建议收藏」分享到此就结束了，感谢您的阅读。