话说RTX系列显卡的AI模块，能用来实时AI渲染么？

dumplingpro · 发表于 2018-8-23 13:59

本帖最后由 dumplingpro 于 2018-8-24 11:28 编辑

现在AI别的不行，图像处理换画风还是很好玩的，比如三渲二啊、把照片处理成油画，把普通画面处理成梵高毕加索。

这次RTX系列，除了实时光追之外，根据吹嘘还增强了AI方面的功能，说是可以下载老黄训练好的AI来抗锯齿。
虽然没说具体细节，但应该也是那种AI图像处理换画风，而且应该还是实时的。

那么有没有可能，可以把这个功能用来实时给画面进行AI处理？从而搞出一些奇葩画风的游戏出来？甚至玩家自己训练AI画风，然后做成MOD？

NF17 · 发表于 2018-8-23 14:13

2D可能吧

sawyer000 · 发表于 2018-8-23 14:38

游戏实时办不到。

Lunamos · 发表于 2018-8-23 14:52

可以，之前有好几篇Paper解决了性能和Temporal稳定性的问题，现在已经用在电影的预处理上了。

比如这篇主要是帧间稳定性问题。
https://www.youtube.com/watch?v=Khuj4ASldmU

理论上现在所有在屏幕上输出的游戏都已经可以转。但以现在AI的能力，没有专业美工的修饰是非常难看甚至恶心的。

dumplingpro · 发表于 2018-8-23 15:07

本帖最后由 dumplingpro 于 2018-8-23 15:11 编辑

Lunamos 发表于 2018-8-23 14:52
可以，之前有好几篇Paper解决了性能和Temporal稳定性的问题，现在已经用在电影的预处理上了。

比如这篇主 ...

个人想法主要是类似着色器那种作用。

比如三渲二，NV拿来渲染边缘的锯齿，理论上也应该是能分辨出哪些是边缘的，勾上边，找出明暗分界，感觉应该不会这么不稳定。
另外在开发领域应该也不错，比如AI绘图可以一定程度节省美工成本。

Lunamos · 发表于 2018-8-23 15:12

dumplingpro 发表于 2018-8-23 16:07
个人想法主要是类似着色器那种作用。

比如三渲二，NV拿来渲染边缘的锯齿，理论上也应该是能分辨出哪些是 ...

你那就是手调了。用AI就是这个风格。AI也可以把G-buffer的内容拿出来训练，做AO、抗锯齿之类，不过还是Conditional式的GAN居多，跟style-transfer不一样，这种比较稳定，效果也一般，也只有老黄硬件支持，换手机或者主机麻烦，用SSAO算了。

蓝泽玲 · 发表于 2018-8-23 15:17

等等楼主你的图哪来的，我第一次看到效果这么好的。我就两三个月没看CV的论文就这么牛逼了？

雨猫 · 发表于 2018-8-23 15:24

提示: 作者被禁止或删除内容自动屏蔽

Tackstone · 发表于 2018-8-23 15:26

是利用ai降噪

dumplingpro · 发表于 2018-8-23 15:36

本帖最后由 dumplingpro 于 2018-8-23 15:37 编辑

蓝泽玲发表于 2018-8-23 15:17
等等楼主你的图哪来的，我第一次看到效果这么好的。我就两三个月没看CV的论文就这么牛逼了？ ...

https://deepart.io/

这个去年就有了，之前想自己搓游戏，试试新科技AI绘图VR动捕，看过报道专门跑去玩的。

你的全家 · 发表于 2018-8-23 16:44

蓝泽玲发表于 2018-8-23 15:17
等等楼主你的图哪来的，我第一次看到效果这么好的。我就两三个月没看CV的论文就这么牛逼了？ ...

这种都是挑的图现在文章就这样

你找一段较长的连续就会吃屎

电影和渲染可用因为最后人看着的不对了可以修

打游戏这种看到不对的时候已经不可修复了说什么都晚了

距离游戏实时渲染还早

—— 来自 Sony G8142, Android 8.0.0上的 S1Next-鹅版 v2.0.2-play

zonker · 发表于 2018-8-23 17:17

有大佬说下超分1080转4k可以实时吗，效果会好吗

dumplingpro · 发表于 2018-8-23 18:54

本帖最后由 dumplingpro 于 2018-8-23 19:00 编辑

你的全家发表于 2018-8-23 16:44
这种都是挑的图现在文章就这样

你找一段较长的连续就会吃屎

deepart.io这家的AI是提供视频AI渲染的，效果不错，不过要花钱。
这图是我上传上去的（梵高网上找的），有兴趣可以试试，效果其实挺好。

qwased · 发表于 2018-8-23 18:57

zonker 发表于 2018-8-23 17:17
有大佬说下超分1080转4k可以实时吗，效果会好吗

那不就老黄吹的dlss吗

—— 来自 Xiaomi MI 6, Android 8.0.0上的 S1Next-鹅版 v2.0.2

dumplingpro · 发表于 2018-8-23 19:10

本帖最后由 dumplingpro 于 2018-8-23 19:12 编辑

qwased 发表于 2018-8-23 18:57
那不就老黄吹的dlss吗

—— 来自 Xiaomi MI 6, Android 8.0.0上的 S1Next-鹅版 v2.0.2

这个感觉最好用还在VR上，VR因为距离眼睛太近，屏幕的像素密度跟不上，AI把1440*1200处理成伪2880*2400很有意义（现在是用的超采样，比如1.4超采就是强行渲染出2016*1680再压缩，性能需求巨大）。

你的全家 · 发表于 2018-8-23 19:55

dumplingpro 发表于 2018-8-23 18:54
deepart.io这家的AI是提供视频AI渲染的，效果不错，不过要花钱。
这图是我上传上去的（梵高网上找的），有 ...

是正经人

—— 来自 Sony G8142, Android 8.0.0上的 S1Next-鹅版 v2.0.2-play

softpoint · 发表于 2018-8-23 20:31

说AI处理图像赶紧去看看GOOGLE那个把所有东西都克苏鲁化的AI.
san值直线降低

dumplingpro · 发表于 2018-8-23 21:09

提示: 该帖被管理员或版主屏蔽

天神十三煞 · 发表于 2018-8-23 22:58

比起训练这个
更需要漫画动画除码

LHO · 发表于 2018-8-24 09:49

提示: 作者被禁止或删除内容自动屏蔽

dumplingpro · 发表于 2018-8-24 10:10

LHO 发表于 2018-8-24 09:49
我想到一个，就是华为一直吹的NPU，实现识别拍摄景物并加以优化参数的这种。这种AI实际上就是基于本地的， ...

老黄现在那个所谓抗锯齿就用了类似原理，只不过是AI给游戏画面美颜抗锯齿……

dumplingpro · 发表于 2018-8-24 10:10

天神十三煞发表于 2018-8-23 22:58
比起训练这个
更需要漫画动画除码

记得现在还有用明星的脸自动合成A片的……

chan · 发表于 2018-8-24 10:17

dumplingpro 发表于 2018-8-24 10:10
记得现在还有用明星的脸自动合成A片的……

我看过，把A片女猪脚的脸弄成盖尔加朵，不过还不完善，有些镜头觉得很神，不过总体还是有点出戏，当然这只是个人娱乐作品

66666 · 发表于 2018-8-24 10:23

提示: 作者被禁止或删除内容自动屏蔽

66666 · 发表于 2018-8-24 10:31

提示: 作者被禁止或删除内容自动屏蔽

sawyer000 · 发表于 2018-8-24 12:32

Lunamos 发表于 2018-08-23 14:52:21
可以，之前有好几篇Paper解决了性能和Temporal稳定性的问题，现在已经用在电影的预处理上了。

比如这篇主 ...

你发这个，哪怕人均ttx，也没人能接受0.002fps的游戏吧

-- 来自有消息提醒的 Stage1官方 iOS客户端

Lunamos · 发表于 2018-8-24 12:39

sawyer000 发表于 2018-8-24 13:32
你发这个，哪怕人均ttx，也没人能接受0.002fps的游戏吧

-- 来自有消息提醒的 Stage1官方 iOS客户端 ...

这是关于稳定性的。关于性能的有其他工作

sawyer000 · 发表于 2018-8-24 14:08

Lunamos 发表于 2018-8-24 12:39
这是关于稳定性的。关于性能的有其他工作

恩，性能的工作，大概还在100MS这个量级吧

Zest · 发表于 2018-8-24 14:21

提示: 作者被禁止或删除内容自动屏蔽

dumplingpro · 发表于 2018-8-24 14:31

Zest 发表于 2018-8-24 14:21
那个是先有一段视频，然后让AI花很长时间一帧一帧修出来的，打个比方就是你PS了几百万张图片上的脸 ...

嗯。

不过光线追踪以前也是一帧一帧来的，这次终于是阉割缩水之后能实时了。

然后NV吹嘘那个AI抗锯齿，其实也是一帧帧AI修图，理论上实时比光追容易一些。

毕竟现在的神经网络，训练的时候性能耗费大，训练好之后用起来没那么大，而且高度并行化，比如性能不那么高的手机平台都可以用上AI美颜。

你的全家 · 发表于 2018-8-24 14:51

dumplingpro 发表于 2018-8-24 14:31
嗯。

不过光线追踪以前也是一帧一帧来的，这次终于是阉割缩水之后能实时了。

其实还是需要调试的我最近工作就在做这一块

训练网络不会直接到实际使用的那个浮点计算量仍然是不能满足手机移动端需求的而且随便体积太大无论是内存空间还是还是存储空间都不太友好特别是对于部分应用（主要是语音等时序数据）并行会有一些客观困难

手机端实际使用一般是FP32转INT8 甚至INT4最近也有了（不过还没看到应用）这个需要人另外进行特别的调整这一块目前有一些自动化工具但是实际生成还是得针对不同网络人工调整

—— 来自 Sony G8142, Android 8.0.0上的 S1Next-鹅版 v2.0.2-play

Timmewen · 发表于 2018-8-24 15:16

脑洞一下，以后可不可以做到ai调教同一个游戏画面不同风格，成人玩就是战锤40k撕被子马琳血肉横飞，小孩玩就变成我的小马友情魔法射爆

66666 · 发表于 2018-8-24 15:33

提示: 作者被禁止或删除内容自动屏蔽

dumplingpro · 发表于 2018-8-24 17:40

你的全家发表于 2018-8-24 14:51
其实还是需要调试的我最近工作就在做这一块

训练网络不会直接到实际使用的那个浮点计算量仍然是不能满 ...

不知道现在这些运算量强大的GPU可不可以做到实时，每秒1080的图像30/60帧？

记得NV一直有说对神经网络计算优化。

你的全家 · 发表于 2018-8-24 18:16

66666 发表于 2018-8-24 15:33
比较复杂的GANs用int8精度推理根本不够，NV目前在推混合精度，但说老实话比较难用

Google的TPU2.0也是 ...

gan一系太怪了我只会抄代码调包侠不懂这个不过那玩意挺敏感的 int带来的损失应该会有巨大影响

tpu google的人在给我狂吹建议我用。。。但我还没试过

—— 来自 Sony G8142, Android 8.0.0上的 S1Next-鹅版 v2.0.2-play

66666 · 发表于 2018-8-24 18:51

提示: 作者被禁止或删除内容自动屏蔽

		自动登录	找回密码
密码			立即注册

[PC] 话说RTX系列显卡的AI模块，能用来实时AI渲染么？

本帖子中包含更多资源

本帖子中包含更多资源

雨猫雨猫当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2014-5-2 头像被屏蔽	发表于 2018-8-23 15:24 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

dumplingpro dumplingpro 当前离线半肾精华 \| 战斗力鹅 \| 回帖 0 注册时间 2018-1-4 头像被屏蔽	楼主\| 发表于 2018-8-23 21:09 \| 显示全部楼层提示: 该帖被管理员或版主屏蔽

	回复使用道具举报

LHO LHO 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2004-1-27 头像被屏蔽	发表于 2018-8-24 09:49 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

66666 66666 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2002-8-22 头像被屏蔽	发表于 2018-8-24 10:23 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

66666 66666 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2002-8-22 头像被屏蔽	发表于 2018-8-24 10:31 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

Zest Zest 当前离线禁止访问精华 \| 战斗力鹅 \| 回帖 0 注册时间 2018-7-18 头像被屏蔽	发表于 2018-8-24 14:21 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

66666 66666 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2002-8-22 头像被屏蔽	发表于 2018-8-24 15:33 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

66666 66666 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2002-8-22 头像被屏蔽	发表于 2018-8-24 18:51 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报