在过去的两年里，随着大规模图文数据集如LAION-5B的开放，出现了许多令人惊叹的图片生成方法，如Stable Diffusion、DALL-E2、ControlNet和Composer。图片生成领域取得了巨大的进展。

然而，与图片生成相比，视频生成仍然面临着巨大的挑战。首先，视频生成需要处理更高维度的数据，并考虑时间维度带来的时序建模问题。因此，需要更多的视频-文本对数据来驱动时序动态的学习。然而，对视频进行准确的时序标注非常昂贵。这限制了视频-文本数据集的规模，例如现有的WebVid10M视频数据集包含10.7M视频-文本对，与LAION-5B图片数据集在数据规模上相差甚远，严重制约了视频生成模型规模化的扩展。

为了解决上述问题，华中科技大学、阿里巴巴集团、浙江大学和蚂蚁集团联合研究团队最近发布了TF-T2V视频方案。该方案提出了一种新颖的方法，基于大规模无文本标注的视频数据进行视频生成，能够学习丰富的运动动态。

TF-T2V的核心思想是将模型分为运动分支和表观分支。运动分支用于建模运动动态，表观分支用于学习视觉表观信息。这两个分支进行联合训练，最终可以实现通过文本驱动视频生成。为了提升生成视频的时序一致性，作者团队还提出了一种时序一致性损失，显式地学习视频帧之间的连续性。值得一提的是，TF-T2V是一种通用的框架，不仅适用于文生视频任务，还能应用于组合式视频生成任务，如sketch-to-video、video inpainting、first frame-to-video等。