有人能说说 DLSS 和 waifu2x 的区别吗

bigice

都是超分辨率算法，能不能用 DLSS 的原理对动画进行实时高清化？还有现在 3090 用 waifu2x 从1080p拉到4k每秒多少帧？

暁美ほむら

不要想太多了 ，实时渲染所需要的性能消耗可比你想象的大多了

bigice

暁美ほむら 发表于 2020-12-7 22:40
不要想太多了 ，实时渲染所需要的性能消耗可比你想象的大多了

人3A游戏都能60帧缩放，我一个24帧（？）的动画为啥不能？

小野賢章

有个开源项目是把视频逐帧转成图片然后用 waifu2x 放大，再合成视频，中间产物占很多磁盘，大概能跑 1~2fps 的样子

我现在修复老视频是用的 Video Enhance AI，360p 的视频放大到 720p 用 2070s 可以实时，GPU 占用率只有 40% 左右，不知道为啥跑不满

沧粟

waifu2x放大一张图片的时间要按秒计，这效率远远不够吧
除非对效率进行专门优化，但质量必然打折扣

暁美ほむら

bigice 发表于 2020-12-7 22:47
人3A游戏都能60帧缩放，我一个24帧（？）的动画为啥不能？

因为根本就是不一回事，显卡图像放大算法完全就是只靠算力在支撑。说简单点显卡的2D性能就没提升过。

YoumuChan

DLSS除了当前一帧和上一帧作为输入，还输入了motion vector，动画提供不了这个吧。

w酱

dlss也处理不了纯2d贴图啊

killer0079

目前唯一能实时处理视频的只有老黄shield 的ai升频

Sza

这问题还是不太好回答，英伟达工程师写的这篇老文章可以多读几遍，他把dlss 2.0和waifu2x两种类别的超分算法给说明白了。waifu2x是典型的单帧超分，dlss 2.0这类是多帧超分，当然dlss本身也是游戏渲染过程中的一部分，也有其他的优化。
https://zhuanlan.zhihu.com/p/123642175

我口胡一下
3090大概率是搞不定waifu2x实时1080p超分到4k的，我自己2060s压老寒蝉480p→960p处理速度是每秒2到3帧。离线处理不用考虑了，费时又麻烦。
多帧超分对前后帧画面运动没有简单规律的手绘动画大概率也是没用的，但是对于摄影之类的真实场景影像以及3D动画的处理效果都比较好，像是TecoGAN、RBPN都还不错。

目前的深度学习算法对于手绘画面的线条和色块处理时经常出现的模糊都没有做针对性的调整，观影时动不动局部糊一下还挺恶心的，在新算法出现前我都持保留态度。

被子十三

动画可以看看anime4k，crunchyroll在用，之前发了个medium博客介绍这个技术

Chia

dlss的奇迹在于连贯动作下的先减后加吧。
纯粹拉伸太吃算力，短期内不做妄想了……

暁美ほむら

被子十三 发表于 2020-12-8 02:13
动画可以看看anime4k，crunchyroll在用，之前发了个medium博客介绍这个技术

anime4k不属于upscaling算法

東京急行

waifu2x的理论部分都已经是六年前的论文了，拿它和最新技术比实时性能有点过分了

被子十三

暁美ほむら 发表于 2020-12-8 02:32
anime4k不属于upscaling算法

是么？我没仔细了解过他们的技术，只看到GitHub写的real time upscalar。有空研究研究

noneoneone

我的理解：
DLSS 2.0相当于上一帧渲染一半，下一帧渲染另一半，靠AI把多帧拼凑成完整的高分辨率。这个的大前提是本身就存在高分辨的参考，只是渲染高分辨率的时间太长不能满足使用要求。
而waifu2x这种单帧放大是没有可以参考的高分辨图的，纯靠AI脑补出来。

dvd6

逐帧waifu2x，里番字幕组用过

Unlight

midearth 发表于 2020-12-8 09:07
B战上有个把新寒蝉拉4K的，用的啥软件未知，不过出来效果还不如madvr

新寒蝉这种必然不如

魔人揪揪

完全两个领域的事情 游戏里你可以很轻松的拿到几何体顶点信息 位置 深度 还有位移矢量 dlss里会把用前几帧的这些信息重建高清图像
而waifu2x毕竟是拿视频重建的 就算是有前几帧图像也只能各种推测 所以dlss超分辨率要比waifu2x效果好而且更简单(因为信息更多更全更准确)