阿里这篇有关与ai绘画生成的Animate Anyone如何？

BISSBISS · 发表于 2023-12-3 10:29

本帖最后由 BISSBISS 于 2023-12-3 10:29 编辑

https://www.bilibili.com/video/av536618308
看起来好像很强阿、

liuqy · 发表于 2023-12-3 10:32

实际效果能有演示的一半不

freedomkought · 发表于 2023-12-3 10:37

想一下,这种实时同步神经网络架构的算力要求应该很大....盲猜应该是结合了LCM或者turbo技术?
但是视频里用的是pose控制现在用的很少,主要POSE对人体一些动作识别度不高....

,对于AI技术我的观点是,落地再说...另外为啥是MJ的标签?

处男鉴黄师 · 发表于 2023-12-3 10:39

reddit上备受期待的项目，真有视频那么厉害那以后就是全民管人的时代了。

处男鉴黄师 · 发表于 2023-12-3 10:43

freedomkought 发表于 2023-12-3 10:37
想一下,这种实时同步神经网络架构的算力要求应该很大....盲猜应该是结合了LCM或者turbo技术?
但是视频里用 ...

没说是实时的啊，应该是给它一张图和一组pose动作帧然后让图里的人物按照pose动起来

freedomkought · 发表于 2023-12-3 11:00

处男鉴黄师发表于 2023-12-3 10:43
没说是实时的啊，应该是给它一张图和一组pose动作帧然后让图里的人物按照pose动起来 ...

看了下抱脸上的原理解释,的确没提到实时这个,被误导了....
看解释是用了包括三种算法模型提高角色专一度,用了类似temporalnet和其他两种算法模型提高对角色一致性,不过隔壁temporalnet似乎2代最近的模型修剪版也接近6个G的大小了......看抱脸和GITHUB上似乎还没开源,等阿里开源再说,企鹅那堆控制模型之后我对国内的此类开源已经抱怀疑态度了..

少年的深渊 · 发表于 2023-12-3 11:01

泥潭终于有人搬了吗，这个展示效果有点卖家秀的味道了，好的难以置信

SinoWarrior · 发表于 2023-12-3 11:12

本帖最后由 SinoWarrior 于 2023-12-3 11:21 编辑

看下他这个结构就知道了，和ControlNet（TemporalNet也是ControlNet）是不一样的，他这个结构更复杂，而且是对pose加噪（ControlNet是依托于对图片加噪训练的Latent Diffusion）
ReferenceNet和动作加噪的UNet是做的spatial attention然后再和CLIP提取的语义特征做Cross Attention，ControlNet相当于两个直接做Cross Attention（没有CLIP语义特征）

看他们说的训练也分成两步，第一步是用单帧训练动作降噪Unet和ReferenceNet，第二步是基于AnimateDiff的参数单独训练 temporal layer。第一步出单图，第二步出视频

Nanachi · 发表于 2023-12-3 11:14

这个看起来挺不错啊，动作流畅持续性也好

董卓 · 发表于 2023-12-3 12:53

为啥第一想到的是会被用于aigc的视频电信诈骗…

astkaasa · 发表于 2023-12-3 13:05

这个是数字人的技术

alitonz · 发表于 2023-12-3 13:41

虽然动作还很单调，但速度足够快的话只要比目前的L2D好就有使用场景，我一直觉得L2D那么僵硬，动态和静态也没什么差别吧……其实不然，僵硬的动态也是有很多观众的。

处男鉴黄师 · 发表于 2023-12-8 02:19

还没等阿里发布代码和模型，字节先截胡了

关键词MagicAnimate

yesicant · 发表于 2023-12-8 02:32

处男鉴黄师发表于 2023-12-8 02:19
还没等阿里发布代码和模型，字节先截胡了
关键词MagicAnimate

从演示来说字节那个比这个差的有点多

这玩意从论文出来到现在，空空如也的github已经上万star了

ななひら · 发表于 2023-12-8 02:41

等一键包

SinoWarrior · 发表于 2023-12-8 03:05

处男鉴黄师发表于 2023-12-8 02:19
还没等阿里发布代码和模型，字节先截胡了
关键词MagicAnimate

字节那个明显是一看被抢先了赶紧发布的

就和当时被Controlnet抢先一步之后腾讯赶紧发了个T2I，效果也很烂

lg19850717 · 发表于 2023-12-8 03:32

提示: 作者被禁止或删除内容自动屏蔽

whzfjd · 发表于 2023-12-8 03:34

搞 live2d / spine 的叫什么师来着

禾芙绿豆沙 · 发表于 2023-12-8 06:44

whzfjd 发表于 2023-12-8 03:34
搞 live2d / spine 的叫什么师来着

你猜为什么游戏要用骨骼动画而不是序列帧？

猫屎盆子 · 发表于 2023-12-8 09:10

以后视频也能PS了

nexus1 · 发表于 2023-12-8 10:10

你就说多大显存吧

处男鉴黄师 · 发表于 2023-12-9 13:49

感觉还行

就是densepose比较非主流找不到多少素材可用

TYAO · 发表于 2023-12-9 18:54

本帖最后由 TYAO 于 2023-12-9 18:57 编辑

长安三万里和异人之下数字人厘里都是阿里AI应用端的成果，还是可以比那些PPT公司有说服力

—— 来自 Xiaomi 23013RK75C, Android 13上的 S1Next-鹅版 v2.5.4

		自动登录	找回密码
密码			立即注册

[科技] 阿里这篇有关与ai绘画生成的Animate Anyone如何？

本帖子中包含更多资源

本帖子中包含更多资源

评分

lg19850717 lg19850717 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2020-2-8 头像被屏蔽	发表于 2023-12-8 03:32 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报