2024 年 8 月 7 日，Runway 发布了其最新视频生成模型 Gen-3 Alpha。Gen-3 Alpha 能够生成视频，并将实拍视频与生成视频进行合成，提供了一条新的创作路径。
Runway 成立于 2018 年，是一家专注于 AI 视频编辑的软件公司。早在文生图领域，Runway 就已经与 Stability AI 合作训练了 Stable Diffusion 模型。2023 年 2 月，Runway 推出了首个 AI 编辑模型 Gen-1，随后在同年发布了 Gen-2，进一步提升了视频生成的保真度和一致性。2024 年 6 月 17 日，Runway 发布了 Gen-3 Alpha。
Gen-3 Alpha 模型的特点包括：
- 90 秒内快速生成 10 秒视频
- 并行生成多个视频
- 支持文本到视频（T2V）、图像到视频（I2V）和文本到图像（T2I）等功能
- 动作笔刷、高级摄像机控制和导演模式等高级功能
2024 年 7 月 30 日，Runway 正式上线了 Gen-3 Alpha 模型的图生视频功能，用户可以使用任何图片作为视频生成的首帧或尾帧，并可通过文本提示进行额外指导。该功能支持生成最长 11 秒的视频。
Runway 联合创始人兼 CEO Cristóbal Valenzuela 在社交媒体上表示，这一功能的推出将为视频生成领域带来新的变化。他还分享了一些图生视频示例，展示了 Gen-3 Alpha 在图像到视频生成方面的能力。用户可以通过简单的文本提示和静态图像创建出视频。
社交媒体用户对 Gen-3 Alpha 的图生视频功能反应热烈。X 用户 @NoBanksNearby 在试用后表示，Runway 在图生视频领域表现出色。另一位用户 @blizaine 测试了一张由 Midjourney 生成的小罗伯特・唐尼即将扮演的毁灭博士的图片，并使用提示词 “当男人走向相机时跟踪拍摄，背景中有神奇的电气爆炸” 生成了一个视频。
此外，X 用户 @patrickassale 也分享了他生成的视频，展示了 Gen-3 Alpha 在处理复杂场景和动作方面的能力。用户普遍认为，Gen-3 Alpha 的图生视频功能提高了视频生成的效率。
Runway 的图生视频功能不仅在社交媒体上引起了讨论，还吸引了众多媒体的关注。VentureBeat 在一篇文章中指出，Gen-3 Alpha 的图生视频功能改变了 AI 生成内容，并挑战了行业巨头。文章称，Runway 的这一功能为创作者提供了更多的创作自由度和可能性。
在实际应用中，Gen-3 Alpha 的图生视频功能也展现出了潜力。用户可以通过上传图片并添加文本提示，生成各种风格和类型的视频。例如，一位用户上传了一张风景图片，并使用提示词 “在一片森林中，人视，参天大树遮蔽着太阳，树叶的缝隙中洒下一些阳光，丁达尔效应” 生成了一个森林视频。另一位用户上传了一张动物图片，并使用提示词 “一只水豚鼠像人一样站立着，手里拿着冰激凌，开心得吃起来” 生成了一个动物视频。
在文生视频和图生视频技术尚不完全成熟的情况下，Runway 提出了实拍视频与生成视频合成的创作路径。通过将 AI 生成的部分与现实世界的实拍视频相结合，创作者可以实现更加丰富和多样的视觉效果。
在实际应用中，实拍视频与生成视频合成的方法已经被广泛采用。例如，一位用户上传了一段实拍的城市街景视频，并使用 Gen-3 Alpha 生成了一段科幻风格的动画，将两者结合后，创造出了一个未来城市的视觉效果。另一位用户上传了一段实拍的自然风景视频，并使用 Gen-3 Alpha 生成了一段奇幻风格的动画，将两者结合后，创造出了一个自然景观。
技术细节方面，Runway 的 Gen-3 Alpha 模型在视频生成过程中采用了多模态训练方法，结合了视频和图像数据。这一方法不仅提高了视频生成的保真度和一致性，还增强了模型在处理复杂场景和动作方面的能力。此外，Gen-3 Alpha 还具备动作笔刷、高级摄像机控制和导演模式等高级功能。
在实拍视频与生成视频合成的过程中，用户可以通过 Runway 提供的工具进行调整。例如，用户可以使用动作笔刷功能在视频中选择多个区域，并对每个区域设置不同的运动速度参数。此外，用户还可以使用高级摄像机控制功能，通过选择方向和强度移动相机，进一步增强视频的动态效果。