Gen-2 图生视频

Gen-2是由Runway Research开发的多模态AI系统，于2023年2月发布，能够通过文本、图像或视频片段生成新颖视频。这款革命性工具打破了传统视频创作的限制，实现了”无需灯光、无需相机，只需创作”的全新理念。它可以通过将图像或文本提示的构图和风格应用到源视频的结构中(视频到视频)，或者仅使用文字(文本到视频)，来真实且一致地合成新视频，让用户无需实际拍摄即可创建全新的视频内容。 仅使用文本提示即可合成任何你能想象的风格的视频。只要你能用语言描述，现在就能将其可视化呈现。例如，”傍晚的阳光透过纽约市阁楼的窗户”这样的描述可以直接转化为相应视频。 结合驱动图像和文本提示来生成视频。系统会根据提供的图像内容和文字描述共同生成符合预期的视频效果，如”一个男人走在街上的低角度镜头，被周围酒吧的霓虹灯照亮”这样的提示配合输入图像可以生成特定场景的视频。 仅使用驱动图像生成视频的变体模式。用户提供一张图像作为输入，系统就能基于这张图像生成相关的视频内容，扩展静态图像的表现力。 将任何图像或提示的风格转移到视频的每一帧。这一功能允许用户为现有视频应用全新的视觉风格，创造出独特的艺术效果。 将静态模型转化为完全风格化和动画化的渲染。这对于将创意概念快速转化为动态视觉效果非常有用，大大加快了前期制作流程。 通过遮罩功能对视频进行精确处理。用户可以指定视频中的特定区域进行风格化或修改，实现更精细的视频编辑控制。 将无纹理的渲染通过应用输入图像或提示转化为逼真输出。这一功能特别适用于将3D模型渲染转化为具有真实感的视频内容。 通过定制模型释放Gen-1的全部潜力，以获得更高保真度的结果。高级用户可以根据特定需求调整系统，实现更专业、更高质量的视频输出。 Gen-2的核心优势在于其多模态输入支持，能够接受文本、图像和视频片段作为输入，提供灵活多样的创作方式。系统提供8种不同模式，满足从文本生成视频到风格迁移、从故事板动画到高级定制等多种创作需求。在用户研究中，Gen-1的结果在图像到图像和视频到视频转换方面优于现有方法，73.53%的用户偏好超过Stable Diffusion 1.5，88.24%超过Text2Live，证明了其高质量的输出能力。此外，Gen-2简化了视频创作流程，降低了技术门槛，同时保持了专业级的输出质量，适用于从专业电影制作到个人创意表达的广泛场景。