
MagicAvatar
MagicAvatar是由字节跳动开发的多模态框架,它能够将各种输入模式(如文本、视频和音频)转换为运动信号,进而生成或激活一个虚拟形象(Avatar)。然后基于这些信号生成以形象为中心的视频。 以下是几种模式场景:
RVM 专为稳定人物视频抠像设计。不同于现有神经网络将每一帧作为单独图片处理,RVM 使用循环神经网络,在处理视频流时有时间记忆。RVM 可在任意视频上做实时高清抠像。在 Nvidia GTX 1080Ti 上实现 4K 76FPS 和 HD 104FPS。此研究项目来自字节跳动。

