三渲二3D游戏画面，AI转2D手绘效果还行，以后实时化……

dumplingpro · 发表于 2022-10-16 15:33

本帖最后由 dumplingpro 于 2022-10-16 20:59 编辑

有人开始动手了，并且画风跳动也少了不少，效果……还挺明显？不但脸，连一些细节（比如腹部的阴影和腋下的线条）都整出来了，薄纱原画面。

https://www.bilibili.com/video/av431570086

可以说是AI版三渲二了。

而最早的DLSS 1.0，就是在跑一个AI模型，只不过这个模型是用特定游戏低清和高清画面训练出来的，理论上也是能跑其他模型的。

尽管算力要求很高，但现在用30系大概几秒的样子，40系AI算力提高了5倍（支持PF8就是10倍），模型算法也有很大空间，几年后应该能达到实时跑60帧水平的……

之前还说二次元CRPG，还说手绘，现在有《少女卷轴》《辐射》动漫种族MOD了，甚至AI模拟声优声线配音都有了，《少女星空》+二次元AI滤镜MOD，可不就是……

再极端一点，像VRchat本来就是二次元的，挂上二次元AI滤镜，戴着VR全身动捕，对着镜子制片人化的自己搔首弄姿……

四舍五入，就是穿越二次元，成为纸片人美少女。

不但雌堕，还二次元堕了啊！

whzfjd · 发表于 2022-10-16 15:43

提示: 作者被禁止或删除内容自动屏蔽

pf67 · 发表于 2022-10-16 15:47

本帖最后由 pf67 于 2022-10-16 15:49 编辑

很明显的看得出来脸部画风变化很大

这方向要做还是专门训练个模型嘛，靠白嫖+后处理始终是有极限的，而且效率不高

—— 来自 OPPO PCLM10, Android 12上的 S1Next-鹅版 v2.5.4

dumplingpro · 发表于 2022-10-16 15:49

pf67 发表于 2022-10-16 15:47
很明显的看得出来脸部画风变化很大

这方向要做还是专门训练个模型嘛，靠白嫖+后处理始终是有极限的

对，DLSS 1.0就是专门针对每一个游戏训练的模型，DLSS 2.0以后才是通用模型，但原理已经是合成图像，而不是AI图像处理了。

Humpy · 发表于 2022-10-16 15:50

莫名其妙的手，不同画面中无法统一的服饰细节，现在这个程度没法说薄纱吧……

simonroam · 发表于 2022-10-16 16:50

其实现在3渲2要解决的是描线和动画的张力问题
因为2次元动画并不严格遵守客观世界的物理规律，精准的透视加Rigid Body让模型动起来像木偶

从另一个角度来说每个角色的各个角度透视其实包含了人的不准确的想象力，看起来像是一个人但又不完全统一
不同情绪表情和动作则完全跳出了现实的物理规律，这是3D建模和贴图很难表现得地方

但是用3渲2，加AI转换其实有点大炮打蚊子的意思了，太浪费性能了
其实用类似于虚幻里的robbin curve 加动画算法去模拟描线和动画能从根本上解决这个问题

快乐好难123 · 发表于 2022-10-16 17:24

怎么又是NovelAI,动漫区外野也就算了

bm7号 · 发表于 2022-10-16 17:24

两边风格不一样了啊，比如莱莎2和蓝反T风格就不一样，大概看个人喜好吧。

武内P · 发表于 2022-10-16 17:27

本帖最后由武内P 于 2022-12-22 10:54 编辑

,

Ichihatsu · 发表于 2022-10-16 18:36

想稳定住画面可能要等到AI能迅速给角色再建一遍模型吧

你又开始了？ · 发表于 2022-10-16 18:37

@大江户战士

Mafise · 发表于 2022-10-16 18:41

真要用作三渲二工具直接给个素体就完事了，相当于模型骨架

— from OnePlus BE2029, Android 11 of S1 Next Goose v2.5.4

大江户战士 · 发表于 2022-10-16 18:55

提示: 作者被禁止或删除内容自动屏蔽

chaucerling · 发表于 2022-10-16 19:11

大江户战士发表于 2022-10-16 18:55
现在Diffusion的img2img还是需要手动输入prompt的，这画面跳来跳去就是因为prompt不足+没有人工抽卡导致的[ ...

img2img是不是不能自动生成固定的模型？

dumplingpro · 发表于 2022-10-16 19:39

本帖最后由 dumplingpro 于 2022-10-16 20:57 编辑

Ichihatsu 发表于 2022-10-16 18:36
想稳定住画面可能要等到AI能迅速给角色再建一遍模型吧

如果游戏用的话，有很多办法，比如人物不跟背景一起，单独渲染，采取"换脸"的方法，把生成好的人设换上去。

或者说……AI版live 2D。
玩家看到的是一个永远面向玩家的2D人物纸板

NovelAI是创作，所以画风会彻底走样，反而效果不那么好。
比如辐射萌豚MOD为基础，会变成这样了，女冰棍变成不认识的人妻了（虽然确实是人妻）

mes · 发表于 2022-10-16 19:53

实话说不能用技术认真搞游戏吗？后期处理真该归动漫那边了，重要的是生成素材和做部分设计，结果我搜ai生成角色行走图可是完全搜不到……

dumplingpro · 发表于 2022-10-16 20:15

本帖最后由 dumplingpro 于 2022-10-16 20:43 编辑

mes 发表于 2022-10-16 19:53
实话说不能用技术认真搞游戏吗？后期处理真该归动漫那边了，重要的是生成素材和做部分设计，结果我搜ai生成 ...

可以，但那是另外一条路线，跟AI创作这一套不一样。

比如这是V社的AI照片建模，半条命Alyx就用上了，凑近看图片细节很像。

AI生成动作也有，比如这个TEACH，直接用文字TAG（动图最下面那串），来生成动作
https://baijiahao.baidu.com/s?id ... 6&wfr=spider&for=pc
https://arxiv.org/abs/2209.04066

又比如这是做RPG站桩讲话演出的
https://www.bilibili.com/video/BV1se41157Zq

但那是欧美鬼畜玩的真实系玩意，哪有二次元好玩。

bwsusaga · 发表于 2022-10-16 20:22

虽然崩的地方挺多的，
但中间妮露有几段表情变化还是相当惊艳的，大有可为啊！

dumplingpro · 发表于 2022-10-16 21:01

大江户战士发表于 2022-10-16 18:55
现在Diffusion的img2img还是需要手动输入prompt的，这画面跳来跳去就是因为prompt不足+没有人工抽卡导致的[ ...

大佬牛逼。

画风正常没有突变成另外一个人，不但脸，连一些细节（比如腹部的阴影和腋下的线条）都整出来了。

mes · 发表于 2022-10-17 01:24

dumplingpro 发表于 2022-10-16 20:15
可以，但那是另外一条路线，跟AI创作这一套不一样。

正常游戏里用不上，比如2d画出来就能直接3d模型，或者干脆不用画都3d模型那才实用，动作反正游戏里分开，没连起来的必要，反正只画图做不出什么（现存很多免费素材，翻可能比自己生成一大堆再挑快），除非真有人认真往那方面研究，否则ai做游戏永远是梗而已。

dumplingpro · 发表于 2022-10-17 08:56

本帖最后由 dumplingpro 于 2022-10-17 09:19 编辑

mes 发表于 2022-10-17 01:24
正常游戏里用不上，比如2d画出来就能直接3d模型，或者干脆不用画都3d模型那才实用，动作反正游戏里分开， ...

那个动图是这一串文字生成的动作……

2D画出来直接3D模型有啊，但欧美鬼畜真实系口味居多。

二次元模型效果比较糟糕，毕竟二次元本来就……不怎么遵循现实物理……

反而是直接捏人效果比较好，因为身体来来去去就几种，几种基本模型+调参数就可以了，差别主要在脸、发型、衣服上，所以时不时看到有人自己做着玩，直接找3D黄油捏好人再导出完事了。

AI无法理解驴耳朵和尾巴，对二次元绘画的姿势也缺乏理解，

生成3D一般都是走照片路子的

或者物体

整体来说就是比较适合欧美鬼畜真实系游戏

stonego · 发表于 2022-10-17 09:22

妮露没几张同人，所以要靠自己建模，姿势什么的到了远景也容易走样。
如果用这个技术来将热门角色比如甘雨刻晴优菈等等的DEMO 2d化，直接用角色TAG加微调模型效果会怎么样呢

mes · 发表于 2022-10-17 14:23

dumplingpro 发表于 2022-10-17 08:56
那个动图是这一串文字生成的动作……

不止雕塑，是整个可动模型，即包括骨，和涂weight，还有看旧游戏会发现人头发很少，衣服垂下部分很少，那些在做动作中的移动也最好能生成而不是物理引擎（不过性能上现在问题也不大了吧），如果雕像就可以，我觉得我熟了一天两三个也行。反正麻烦的部分交ai才有意义，再厉害和制作需要对不上那也没用。

		自动登录	找回密码
密码			立即注册

[其他] 三渲二3D游戏画面，AI转2D手绘效果还行，以后实时化……

本帖子中包含更多资源

本帖子中包含更多资源

本帖子中包含更多资源

本帖子中包含更多资源

本帖子中包含更多资源

whzfjd whzfjd 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2021-1-7 头像被屏蔽	发表于 2022-10-16 15:43 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

大江户战士大江户战士当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2014-2-4 头像被屏蔽	发表于 2022-10-16 18:55 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报