对游戏超分的一点疑惑，为什么DLSS1.0的每个游戏单独模型走不通？

泰坦失足 · 发表于 2024-8-29 07:19

本帖最后由泰坦失足于 2024-8-29 07:29 编辑

从机器学习角度来看，按理来说不该是1.0那样的准确率更高吗。比如第一方游戏，我能想到的方案就是超级大厂如微软索尼那种不差钱的主在PC上渲染一大堆超高分辨率版和对应的主机版低分辨率版，基于“低分->高分”的数据来微调模型，然后每个游戏附带一个微调过的超分模型。比如FF7里稍微远点的低分辨率渲染的蒂法，模型在经过足够的“低分的蒂法->高分的蒂法”后得到相关知识。甚至一个模型经过足够的微调充分认识如何将主角同行的全部NPC高清化。

朋友 · 发表于 2024-8-29 07:33

降低门槛吧，NV会自己收集新的游戏来继续训练模型。

mimighost · 发表于 2024-8-29 07:54

想法很好，但是操作起来很困难

首先训练这个步骤谁来做，nv？还是厂家自己？训练出来的模型，nv自己负不负责测试？训练拐了咋办？游戏要是更新了咋办，以前的适配能用么？

实际上dlss是nv的牌子，所以它要自己来维护，不能让路人甲把自己的牌子砸了。自己训练一个统一的模型，开发用起来爽，它自己做品控也简单，分发更是简单的一笔。

泰坦失足 · 发表于 2024-8-29 08:30

mimighost 发表于 2024-8-29 07:54
想法很好，但是操作起来很困难

首先训练这个步骤谁来做，nv？还是厂家自己？训练出来的模型，nv自己负不负 ...

所以这应该是索尼/微软来做的，开发机提供相应接口。比如开发机或者PC上的SDK本身就能渲染原生4k版，然后同时导出同帧画面下的主机版渲染的低分版。第一方游戏各个有专门的逐游戏优化，开发成本较低第三方的才使用通用的。

a8610853 · 发表于 2024-8-29 09:28

DLSS1的一个游戏一个模型就是一个无奈之举而已，纯平面图像识别的超分质量很差伪影很多，所以只能想办法针对性训练来提高质量。
DLSS2引入时域之后采集深度信息就很准确，很通用了，自然就不需要一个游戏一个模型。

WGTCorp · 发表于 2024-8-29 09:30

泰坦失足发表于 2024-8-29 08:30
所以这应该是索尼/微软来做的，开发机提供相应接口。比如开发机或者PC上的SDK本身就能渲染原生4k版，然后 ...

PS和XBOX都是AMD的芯片，不支持DLSS。主机没法用，那微软索尼肯定不会去做，第三方厂商也不会费那个功夫专门为了PC去调模型。

npk7k_1 · 发表于 2024-8-29 09:33

本帖最后由 npk7k_1 于 2024-8-29 09:36 编辑

因为图像信息密度低[1]，任务简单，继续微调带来的提升有限，考虑到付出的代价综合性价比不高

[1]Masked Autoencoders Are Scalable Vision Learners

朋友 · 发表于 2024-8-29 09:36

泰坦失足发表于 2024-8-29 08:30
所以这应该是索尼/微软来做的，开发机提供相应接口。比如开发机或者PC上的SDK本身就能渲染原生4k版，然后 ...

PC上NV自己就有维护，主机没NV啥事

		自动登录	找回密码
密码			立即注册

[其他] 对游戏超分的一点疑惑，为什么DLSS1.0的每个游戏单独模型走不通？