2024 年 9 月 14 日，Runway 宣布其最新的 Gen-3 Alpha Video to Video 功能现已在所有付费计划中上线。该功能提供了新的控制机制，使生成的视频在运动、表现力和意图方面更加精确。用户只需上传输入视频，并根据需要选择美学方向或预设风格，即可使用该功能生成视频。
Runway 成立于 2018 年，是一家专注于 AI 视频编辑软件的公司。公司早期在文生图领域取得了显著成就，与 Stability AI 合作训练了著名的 Stable Diffusion 模型。2023 年 2 月，Runway 推出了首个 AI 编辑模型 Gen-1，允许用户在原视频基础上进行编辑操作。同年，Gen-2 发布，增加了 Multi-Motion Brush 功能，允许用户在一张图像上选择多个区域，并对每个区域设置不同的运动速度参数，同时还可以从头生成视频。
2024 年 6 月，Runway 发布了 Gen-3 Alpha 模型，进一步提升了视频生成的保真度、一致性和运动控制。Gen-3 Alpha 模型使用视频和图像联合训练，能够在 90 秒内快速生成 10 秒视频，并行生成多个视频，支持文本到视频（T2V）、图像到视频（I2V）和文本到图像（T2I）等多种生成模式。此次发布的 Gen-3 Alpha Video to Video 功能是 Gen-3 Alpha 系列的最新扩展。
Runway CTO Anastasis Germanidis 表示，在多模态模型中，“控制” 是关键，视频扩散模型（Video Diffusion Models）还远远未达到通过 Scaling 带来的性能提升；这些模型在学习预测视频的任务时，构建了视觉世界的强大表征，因此对于这些表征的把握至关重要。
Gen-3 Alpha Video to Video 功能的技术细节包括：
- 高度描述性、时间密集的说明文字训练，使其能够实现富有想象力的过渡和更为精确的场景元素关键帧。- 动作笔刷和高级摄像机控制，允许用户对视频中的运动和视角进行精细调整。- 导演模式，提供更高层次的创作自由度和艺术控制。
应用场景方面，Gen-3 Alpha Video to Video 功能适用于各种视频创作需求，包括电影制作、广告制作、社交媒体内容创作等。用户可以通过上传原始视频，并选择预设风格或输入文本提示，生成符合特定艺术风格和叙事需求的视频内容。
Runway 还在官网中表示，作为 Gen-3 系列模型的一部分，他们一直与娱乐和媒体组织合作并建立伙伴关系，为他们提供 Gen-3 Alpha 的定制版本。Gen-3 系列模型的定制版允许用户生成更加风格化、与现实更加一致的内容，并且可以针对特定的艺术和叙事要求进行编辑。