2025年ddpm模型代码（论述ddm模型的可行性）

视频延展(Video Outpainting)是对视频的边界进行扩展的任务。与图像延展不同，视频延展需要考虑到填充区域的时序一致性，这使得问题更具挑战性。在本文中，我们介绍了一个新颖的基于扩散模型的视频尺寸延展方法——分层遮掩3D扩散模型(Hierarchical Masked 3D Diffusion Model, M3DDM)。通过遮掩建模的训练方法以及把全局视频片段引入交叉注意力层，该模型不仅能够通过引导帧的技术来保证在多次推理的视频片段中确保时序一致性，还能降低相邻帧之间的抖动。此外，我们还提出了一种混合由粗到细(Hybrid Coarse-to-Fine)的推理流程来减轻长视频延展中的错误累积问题。我们的方法在视频延展任务中取得了最先进的结果。该视频尺寸延展算法已在阿里妈妈创意中心上线，同时基于该项工作整理的论文已发表在 ACM MM2023 ，相关代码现已开源，欢迎大家关注。

论文题目：Hierarchical Masked 3D Diffusion Model for Video Outpainting

论文下载：https://arxiv.org/abs/2309.02119

项目主页：https://fanfanda.github.io/M3DDM/

代码链接：https://github.com/alimama-creative/M3DDM-Video-Outpainting

表1: 我们M3DDM算法在垂直、水平以及四周方向的视频延展结果

在我们电商场景中，广告主提供的视频素材存在不适配 APP 展示区域的尺寸的情况。直接拉伸素材视频容易导致展示效果变差，因此我们可以采用视频延展的算法来扩展素材视频的边界，使得延展之后的视频的长宽比适配我们的广告展示区域的尺寸。表一分别展示了我们M3DDM算法在垂直、水平以及四周方向的视频延展结果。考虑到广告主的视频长度普遍大于10s，视频延展任务与图像延展任务相比，带来了以下额外的两个挑战：1). 考虑到 GPU 的显存，我们在推理阶段需要把视频分成多个片段来预测。如何保证多个片段间的时序一致性？2). 长视频延展存在错误累积的问题。

为了解决上述的两个挑战，我们在文中提出了以下技术: 1). 我们基于2D图像扩散模型——Stable Diffusion [1]的参数先验构建了3D视频扩散模型。；2). 我们采用引导帧的方式来连接同一视频的多个片段，为此我们提出了一种新的遮掩策略来训练3D视频扩散模型；3). 为了更好的保持时序一致性，我们从视频中抽取了全局帧，经过编码后，放入了模型的交叉注意力层。这使得模型能够在预测当前视频片段时，感知到全局的视频信息，以期望在有空间信息重叠时，模型能够填补更加合理的结果。4). 我们提出了一种混合策略的 Coarse-to-Fine 的推理流水线来缓解长视频错误累积的问题。我们将分别从训练(2.1)和推理(2.2)两方面来讲解算法细节。

图1: M3DDM训练框架图

我们在图1展示了M3DDM的训练过程。我们的方法是基于扩散模型 [2, 3, 4]的。扩散模型是一类生成式模型，它对原始分布加噪并通过一个深度网络来预测噪声的方式来训练一个去噪网络，以便于在推理阶段，我们能够从标准正态分布随机采样一个噪声来逐步推理原始数据分布。在视频延展场景中，我们在训练阶段要学习一个3D U-Net [5]的去噪网络去拟合视频样本中的噪声。我们网络的输入是添加了次高斯分布噪声的视频样本、二值的掩码来指示哪部分区域是需要被填充的以及遮掩过后的视频，同时在交叉注意力层输入全局的视频帧(遮掩过后的，避免泄漏)，输出是添加的高斯噪声。降噪网络通过以下损失函数进行训练:

/span>