Github 字节跳动omnihuman图生视频

OmniHuman-1：重新思考单阶段条件人体动画模型的扩展
https://github.com/omnihuman-lab/omnihuman-lab.github.io

生成的视频
OmniHuman 支持多种视觉和音频风格，可生成任意长宽比和身体比例（人像、半身、全身合一）的逼真人体视频，真实感源自动作、光照、纹理细节等综合方面。
*请注意，要生成此页面上的所有结果，只需要任何单个图像和音频，展示视频和组合驱动信号的演示除外。为了保持布局整洁，我们省略了参考图像的显示，在大多数情况下，参考图像是生成视频的第一帧。如果您需要比较或更多信息，请随时与我们联系。


OmniHuman 可以支持任意长宽比的语音输入。它显著改善了手势处理，这对现有方法来说是一个挑战，并产生了高度逼真的结果。部分测试用例的音频和图像来自link1、link2、link3、link4。

多样性
在输入多样性方面，OmniHuman 支持卡通、人造物体、动物和具有挑战性的姿势，确保运动特性与每种风格的独特特征相匹配。



带手的半身保护壳
这里，我们还提供了专门展示手势动作的额外示例。一些输入图像和音频来自 TED、Pexels 和 AIGC。