原文青稞AI

Li Hu、Xin Gao

图片由无界 AI生成

Project page: https://humanaigc.github.io/animate-anyone/

Code: https://github.com/HumanAIGC/AnimateAnyone

Arxiv: https://arxiv.org/pdf/2311.17117.pdf

Youtube Video: https://www.youtube.com/watch?v=8PCn5hLKNu4

前言

Animate Anyone是阿里巴巴通义实验室XR Lab最新推出的成果，只需要单张图片和Openpose动作就可以让图片动起来并保持稳定性。

具体来说，Animate Anyone是基于Diffusion model (扩散模型结构)来进行pose2video的生成，通过如2D openpose的姿态骨架skeleton，来引导(guide)网络生成和参考图像reference image一致的角度动态效果。

Animate Anyone也是第一个在Pose2Video领域生成角色动画达到80分成绩的方法。Twitter上各路大V都在转。

在Reddit的SD channel热度排名第1！

https://www.reddit.com/r/StableDiffusion/comments/187csur/new_techanimate_anyone_consistent_and/

核心贡献

•ReferenceNet： ReferenceNet这个组件能够将参考图(reference image)中的细节，集成(integrate)通过spatial attention(空间attention机制)到diffusion model。此网络是保持复杂的外观特征与reference image一致性的关键。

青稞