话说RTX系列显卡的AI模块，能用来实时AI渲染么？
本帖最后由 dumplingpro 于 2018-8-24 11:28 编辑现在AI别的不行，图像处理换画风还是很好玩的，比如三渲二啊、把照片处理成油画，把普通画面处理成梵高毕加索。
这次RTX系列，除了实时光追之外，根据吹嘘还增强了AI方面的功能，说是可以下载老黄训练好的AI来抗锯齿。
虽然没说具体细节，但应该也是那种AI图像处理换画风，而且应该还是实时的。
那么有没有可能，可以把这个功能用来实时给画面进行AI处理？从而搞出一些奇葩画风的游戏出来？甚至玩家自己训练AI画风，然后做成MOD？
https://bbs.saraba1st.com/2b/forum.php?mod=image&aid=483544&size=300x300&key=8308a8cd4aea6844&nocache=yes&type=fixnone
https://bbs.saraba1st.com/2b/forum.php?mod=image&aid=483545&size=300x300&key=bdbb5aa27fbe1249&nocache=yes&type=fixnone 2D可能吧 游戏实时办不到。 可以，之前有好几篇Paper解决了性能和Temporal稳定性的问题，现在已经用在电影的预处理上了。
比如这篇主要是帧间稳定性问题。
https://www.youtube.com/watch?v=Khuj4ASldmU
理论上现在所有在屏幕上输出的游戏都已经可以转。但以现在AI的能力，没有专业美工的修饰是非常难看甚至恶心的。
本帖最后由 dumplingpro 于 2018-8-23 15:11 编辑
Lunamos 发表于 2018-8-23 14:52
可以，之前有好几篇Paper解决了性能和Temporal稳定性的问题，现在已经用在电影的预处理上了。
比如这篇主 ...
个人想法主要是类似着色器那种作用。
比如三渲二，NV拿来渲染边缘的锯齿，理论上也应该是能分辨出哪些是边缘的，勾上边，找出明暗分界，感觉应该不会这么不稳定。
另外在开发领域应该也不错，比如AI绘图可以一定程度节省美工成本。
dumplingpro 发表于 2018-8-23 16:07
个人想法主要是类似着色器那种作用。
比如三渲二，NV拿来渲染边缘的锯齿，理论上也应该是能分辨出哪些是 ...
你那就是手调了。用AI就是这个风格。AI也可以把G-buffer的内容拿出来训练，做AO、抗锯齿之类，不过还是Conditional式的GAN居多，跟style-transfer不一样，这种比较稳定，效果也一般，也只有老黄硬件支持，换手机或者主机麻烦，用SSAO算了。 等等楼主你的图哪来的，我第一次看到效果这么好的。我就两三个月没看CV的论文就这么牛逼了？ 是利用ai降噪 本帖最后由 dumplingpro 于 2018-8-23 15:37 编辑
蓝泽玲 发表于 2018-8-23 15:17
等等楼主你的图哪来的，我第一次看到效果这么好的。我就两三个月没看CV的论文就这么牛逼了？ ...
https://deepart.io/
这个去年就有了，之前想自己搓游戏，试试新科技AI绘图VR动捕，看过报道专门跑去玩的。 蓝泽玲 发表于 2018-8-23 15:17
等等楼主你的图哪来的，我第一次看到效果这么好的。我就两三个月没看CV的论文就这么牛逼了？ ...
这种都是挑的图 现在文章就这样
你找一段较长的连续就会吃屎
电影和渲染可用 因为最后人看着的不对了可以修
打游戏这种 看到不对的时候已经不可修复了 说什么都晚了
距离游戏实时渲染还早
—— 来自 Sony G8142, Android 8.0.0上的 S1Next-鹅版 v2.0.2-play 有大佬说下超分1080转4k可以实时吗，效果会好吗 本帖最后由 dumplingpro 于 2018-8-23 19:00 编辑
你的全家 发表于 2018-8-23 16:44
这种都是挑的图 现在文章就这样
你找一段较长的连续就会吃屎
deepart.io这家的AI是提供视频AI渲染的，效果不错，不过要花钱。
这图是我上传上去的（梵高网上找的），有兴趣可以试试，效果其实挺好。
https://bbs.saraba1st.com/2b/forum.php?mod=image&aid=483607&size=300x300&key=12aa1250e2f27c84&nocache=yes&type=fixnone
zonker 发表于 2018-8-23 17:17
有大佬说下超分1080转4k可以实时吗，效果会好吗
那不就老黄吹的dlss吗
—— 来自 Xiaomi MI 6, Android 8.0.0上的 S1Next-鹅版 v2.0.2 本帖最后由 dumplingpro 于 2018-8-23 19:12 编辑
qwased 发表于 2018-8-23 18:57
那不就老黄吹的dlss吗
—— 来自 Xiaomi MI 6, Android 8.0.0上的 S1Next-鹅版 v2.0.2
这个感觉最好用还在VR上，VR因为距离眼睛太近，屏幕的像素密度跟不上，AI把1440*1200处理成伪2880*2400很有意义（现在是用的超采样，比如1.4超采就是强行渲染出2016*1680再压缩，性能需求巨大）。 dumplingpro 发表于 2018-8-23 18:54
deepart.io这家的AI是提供视频AI渲染的，效果不错，不过要花钱。
这图是我上传上去的（梵高网上找的），有 ...
是正经人
—— 来自 Sony G8142, Android 8.0.0上的 S1Next-鹅版 v2.0.2-play 说AI处理图像赶紧去看看GOOGLE那个把所有东西都克苏鲁化的AI.
san值直线降低 比起训练这个
更需要漫画动画除码
LHO 发表于 2018-8-24 09:49
我想到一个，就是华为一直吹的NPU，实现识别拍摄景物并加以优化参数的这种。这种AI实际上就是基于本地的， ...
老黄现在那个所谓抗锯齿就用了类似原理，只不过是AI给游戏画面美颜抗锯齿…… 天神十三煞 发表于 2018-8-23 22:58
比起训练这个
更需要漫画动画除码
记得现在还有用明星的脸自动合成A片的…… dumplingpro 发表于 2018-8-24 10:10
记得现在还有用明星的脸自动合成A片的……
我看过，把A片女猪脚的脸弄成盖尔加朵，不过还不完善，有些镜头觉得很神，不过总体还是有点出戏，当然这只是个人娱乐作品 Lunamos 发表于 2018-08-23 14:52:21
可以，之前有好几篇Paper解决了性能和Temporal稳定性的问题，现在已经用在电影的预处理上了。
比如这篇主 ...你发这个，哪怕人均ttx，也没人能接受0.002fps的游戏吧
-- 来自 有消息提醒的 Stage1官方 iOS客户端 sawyer000 发表于 2018-8-24 13:32
你发这个，哪怕人均ttx，也没人能接受0.002fps的游戏吧
-- 来自 有消息提醒的 Stage1官方 iOS客户端 ...
这是关于稳定性的。关于性能的有其他工作 Lunamos 发表于 2018-8-24 12:39
这是关于稳定性的。关于性能的有其他工作
恩，性能的工作，大概还在100MS这个量级吧 Zest 发表于 2018-8-24 14:21
那个是先有一段视频，然后让AI花很长时间一帧一帧修出来的，打个比方就是你PS了几百万张图片上的脸 ...
嗯。
不过光线追踪以前也是一帧一帧来的，这次终于是阉割缩水之后能实时了。
然后NV吹嘘那个AI抗锯齿，其实也是一帧帧AI修图，理论上实时比光追容易一些。
毕竟现在的神经网络，训练的时候性能耗费大，训练好之后用起来没那么大，而且高度并行化，比如性能不那么高的手机平台都可以用上AI美颜。 dumplingpro 发表于 2018-8-24 14:31
嗯。
不过光线追踪以前也是一帧一帧来的，这次终于是阉割缩水之后能实时了。
其实还是需要调试的 我最近工作就在做这一块
训练网络不会直接到实际使用的 那个浮点计算量仍然是不能满足手机移动端需求的 而且随便体积太大 无论是内存空间还是还是存储空间都不太友好 特别是对于部分应用（主要是语音等时序数据）并行会有一些客观困难
手机端实际使用一般是FP32转INT8 甚至INT4最近也有了（不过还没看到应用） 这个需要人另外进行特别的调整 这一块目前有一些自动化工具 但是实际生成还是得针对不同网络人工调整
—— 来自 Sony G8142, Android 8.0.0上的 S1Next-鹅版 v2.0.2-play 脑洞一下，以后可不可以做到ai调教同一个游戏画面不同风格，成人玩就是战锤40k撕被子马琳血肉横飞，小孩玩就变成我的小马友情魔法射爆 你的全家 发表于 2018-8-24 14:51
其实还是需要调试的 我最近工作就在做这一块
训练网络不会直接到实际使用的 那个浮点计算量仍然是不能满 ...
不知道现在这些运算量强大的GPU可不可以做到实时，每秒1080的图像30/60帧？
记得NV一直有说对神经网络计算优化。 66666 发表于 2018-8-24 15:33
比较复杂的GANs用int8精度推理根本不够，NV目前在推混合精度，但说老实话比较难用
Google的TPU2.0也是 ...
gan一系太怪了 我只会抄代码调包侠 不懂这个 不过那玩意挺敏感的 int带来的损失应该会有巨大影响
tpu google的人在给我狂吹建议我用。。。但我还没试过
—— 来自 Sony G8142, Android 8.0.0上的 S1Next-鹅版 v2.0.2-play
页:
[1]