通过DLSS将原生240P游戏拉到720P的效果

dumplingpro · 发表于 2020-10-8 00:40

3D烧发表于 2020-10-7 22:10
那要是强化机支持dlss，一些吃性能的游戏，原版240p运行，强化机dlss拉到720 这样也不会有太多原版 ...

那要游戏内核集成，DLSS1.0是直接凭空脑补，需要高低清游戏画面训练。

DLSS 2.0是需要前几帧画面，AI修图，得游戏内核集成。

大fish小fish · 发表于 2020-10-8 00:43

给任天堂用上，干死美国公司SIE

MikawaFumika · 发表于 2020-10-8 00:53

就算下一代ns支持这个技术任地狱本家也未必会大规模应用
主要还是给三厂移植服务的

oniwarud · 发表于 2020-10-8 00:59

再买自检星剁手发表于 2020-10-8 00:01
吹dlss的问题在于，这能在移动芯片上实现吗，能的话ns新机dlss到4k也能和次世代一战了

现在的dlss ...

前段时间英伟达不是在招相关的技术人员吗，很多人就是猜是不是给ns用的

中泽君 · 发表于 2020-10-8 01:03

只关心任天堂什么时候能用上
不糊的异度新作感觉只能靠这个了

Gandalf · 发表于 2020-10-8 01:06

oniwarud 发表于 2020-10-8 00:59
前段时间英伟达不是在招相关的技术人员吗，很多人就是猜是不是给ns用的

是何方人士有此等幻想？

arb1ters · 发表于 2020-10-8 01:11

感觉游戏画面还可以理解，但是文字是如何一套模型高清化的感觉有点魔法
原视频240p文字糊的啥也没有了，但是依然可以准确还原，很想知道在不常见语言和不常见字体上的还原效果

—— 来自 OnePlus ONEPLUS A5000, Android 10上的 S1Next-鹅版 v2.2.2.1

365702240 · 发表于 2020-10-8 01:26

Gandalf 发表于 2020-10-8 01:06
是何方人士有此等幻想？

之前linkedin上的招Senior Embedded Software Engineer for the Tegra solutions Engineering team

Work on里有一条是next-generation graphics & AI technologies for gaming consoles and AI edge devices

升职加薪 · 发表于 2020-10-8 01:27

提示: 作者被禁止或删除内容自动屏蔽

GuardHei · 发表于 2020-10-8 01:36

newdasemo 发表于 2020-10-7 22:03
即将导入arm……

arm只是cpu...
而且这直接说明nspro目前和dlss无关

GuardHei · 发表于 2020-10-8 01:39

Lunamos 发表于 2020-10-7 22:44
不行，没有训练集。
手绘和预渲染那种风格的像素画可以用一般的super resolution做。比如FF7和FF9的高清MO ...

好像未必
我记得2.0是general的，无所谓画风的，不需要专门的游戏去训练
毕竟也是一种类似tenporal的技术，和dlss1.0原理不太一样了

Luminous脑壳痛 · 发表于 2020-10-8 01:39

模拟器的3d老游戏可以这么使用吗，不过异度装甲那样的应该不行把

GuardHei · 发表于 2020-10-8 01:40

Luminous脑壳痛发表于 2020-10-8 01:39
模拟器的3d老游戏可以这么使用吗，不过异度装甲那样的应该不行把

不能...这个必须改整个渲染管线

GuardHei · 发表于 2020-10-8 01:41

中泽君发表于 2020-10-8 01:03
只关心任天堂什么时候能用上
不糊的异度新作感觉只能靠这个了

xb的问题不在此
主机模式下xb2一般分辨率还是比较稳定的，而且也有taa。最大的问题掌机端恰恰没有功耗跑

GuardHei · 发表于 2020-10-8 01:44

arb1ters 发表于 2020-10-8 01:11
感觉游戏画面还可以理解，但是文字是如何一套模型高清化的感觉有点魔法
原视频240p文字糊的啥也没有了，但 ...

还原的时候根本不管是不是文字...他既然能做到几乎无鬼影，那文字（只要文字ui写入了深度缓冲），那肯定没问题

equion · 发表于 2020-10-8 01:47

提示: 作者被禁止或删除内容自动屏蔽

GuardHei · 发表于 2020-10-8 01:47

Lunamos 发表于 2020-10-7 22:43
比运算240P+推导需要的算力要多，因为无论如何需要计算一些720P左右的信息作为conditional buffer一起塞进 ...

说到这个我还特地问过，一个作者的意思是深度信息以及屏幕后期特效原始低分辨率就行了，不需要做高分辨率低的。我感觉挺神奇，不知道会不会有artifact

equion · 发表于 2020-10-8 01:49

提示: 作者被禁止或删除内容自动屏蔽

365702240 · 发表于 2020-10-8 01:52

GuardHei 发表于 2020-10-8 01:36
arm只是cpu...
而且这直接说明nspro目前和dlss无关

Jetson AGE Xavier已经有tensor core了

最近新出的砍了一刀的Xavier NX那块SOC也有，不过数量只有48个，2060有240个

An@xxxny · 发表于 2020-10-8 02:02

3DS是240P吧，那么能不能嗯？

ybfelix · 发表于 2020-10-8 04:21

本帖最后由 ybfelix 于 2020-10-8 04:22 编辑

arb1ters 发表于 2020-10-8 01:11
感觉游戏画面还可以理解，但是文字是如何一套模型高清化的感觉有点魔法
原视频240p文字糊的啥也没有了，但 ...

不懂技术，不过想象起来文字应该是更容易被AI识别出pattern的一种图像吧，每次出现都长得一样。毕竟连人类肉脑都能解读罗赛塔石碑～

andychen · 发表于 2020-10-8 04:25

GuardHei 发表于 2020-10-8 01:36
arm只是cpu...
而且这直接说明nspro目前和dlss无关

目前的dlss模型是向高性能平台优化的，基础分辨率要在720P以上才达到最佳输出效果。低于这个分辨率效果打折扣
地狱游戏机的输出分辨率是主流的720P-1080P，需要基础分辨率在360P左右。这部分性能还要对模型进行优化才行
应用不用担心，地狱第一方全都使用了TAA，按黄老板说法只要用了TAA的游戏就能用dlss

mimighost · 发表于 2020-10-8 04:39

像素风怎么办

xbhuang · 发表于 2020-10-8 06:45

会不会把运算模块单独做在底座上，这样增强版其实只是底座，原版ns也能够插入？功耗也能解决了，就是掌机模式和以前一样，但是主机模式强化了

66666 · 发表于 2020-10-8 07:52

提示: 作者被禁止或删除内容自动屏蔽

66666 · 发表于 2020-10-8 07:53

提示: 作者被禁止或删除内容自动屏蔽

共谍常凯申 · 发表于 2020-10-8 10:22

提示: 作者被禁止或删除内容自动屏蔽

猫不萌 · 发表于 2020-10-8 10:24

xbhuang 发表于 2020-10-8 06:45
会不会把运算模块单独做在底座上，这样增强版其实只是底座，原版ns也能够插入？功耗也能解决了，就是掌机模 ...

原版的type c速度不足以支持外置显卡

arbilest · 发表于 2020-10-8 10:30

就算是DLSS2.0，用在1080p上也是明显感觉的出来有点糙。感觉更多的是针对2K和4K设计的。来自: iPhone客户端

mimighost · 发表于 2020-10-8 10:33

66666 发表于 2020-10-8 07:53
DLSS2.0的渲染不涉及UI文字，这些还是按照显示分辨率渲染

dlss没办法知道是不是文字，像素级别的上采样怎么单独渲染文字

66666 · 发表于 2020-10-8 10:34

提示: 作者被禁止或删除内容自动屏蔽

66666 · 发表于 2020-10-8 10:37

提示: 作者被禁止或删除内容自动屏蔽

mimighost · 发表于 2020-10-8 10:44

66666 发表于 2020-10-8 10:37
DLSS在后处理之前，DLSS跑完的数据就是一张2D静态图片，然后游戏引擎再对2D静态图片做UI等后处理，这块处 ...

我搜google没有找到相应的资料

游戏引擎的ui层怎么和实际渲染的画面分开？这个只能开发者自己单独处理了，dlss肯定没法自动搞定这个环节

GuardHei · 发表于 2020-10-8 10:49

andychen 发表于 2020-10-8 04:25
目前的dlss模型是向高性能平台优化的，基础分辨率要在720P以上才达到最佳输出效果。低于这个分辨率效果打 ...

并没有第一方都用taa...

GuardHei · 发表于 2020-10-8 10:50

mimighost 发表于 2020-10-8 10:44
我搜google没有找到相应的资料

游戏引擎的ui层怎么和实际渲染的画面分开？这个只能开发者自己单独处理了 ...

渲染是有先后顺序的，dlss是要开发者自己加入管线里去的

GuardHei · 发表于 2020-10-8 10:51

365702240 发表于 2020-10-8 01:52
Jetson AGE Xavier已经有tensor core了

最近新出的砍了一刀的Xavier NX那块SOC也有，不过数量只有48个， ...

jetson那个功耗也不行默认tdp 15w，ns主机模式下都够呛，而且成本太高了

mimighost · 发表于 2020-10-8 10:52

GuardHei 发表于 2020-10-8 10:50
渲染是有先后顺序的，dlss是要开发者自己加入管线里去的

OK，这个说得通

GuardHei · 发表于 2020-10-8 10:52

xbhuang 发表于 2020-10-8 06:45
会不会把运算模块单独做在底座上，这样增强版其实只是底座，原版ns也能够插入？功耗也能解决了，就是掌机模 ...

热插拔怎么解决呢

Lunamos · 发表于 2020-10-8 11:19

GuardHei 发表于 2020-10-8 02:39
好像未必
我记得2.0是general的，无所谓画风的，不需要专门的游戏去训练
毕竟也是一种类似tenporal的技术 ...

你这里说的general是“not game-specific model”，这是DLSS2.0跟DLSS1.0的区别。我说的general SR指的是不需要conditional buffer的算法，是DLSS2.0跟ESRGAN之类single-image sr的区别（single-image sr本来也不适合做real-time）。DLSS至少需要高清版本的geometry相关信息，包括depth做condition，motion vector读多帧信息。

这里我提到的缺少训练集指的也是NVIDIA做训练的model里肯定是没有像素游戏的，因为没有办法生成像素游戏的训练集。

GuardHei · 发表于 2020-10-8 11:25

Lunamos 发表于 2020-10-8 11:19
你这里说的general是“not game-specific model”，这是DLSS2.0跟DLSS1.0的区别。我说的general SR指的是 ...

这我倒想起来了，像素游戏本质是贴图分辨率低，单靠jitter没法增加什么细节

		自动登录	找回密码
密码			立即注册

[PC] 通过DLSS将原生240P游戏拉到720P的效果

本帖子中包含更多资源

升职加薪升职加薪当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2020-9-28 头像被屏蔽	发表于 2020-10-8 01:27 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

equion equion 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2018-11-12 头像被屏蔽	发表于 2020-10-8 01:47 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

equion equion 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2018-11-12 头像被屏蔽	发表于 2020-10-8 01:49 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

66666 66666 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2002-8-22 头像被屏蔽	发表于 2020-10-8 07:52 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

66666 66666 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2002-8-22 头像被屏蔽	发表于 2020-10-8 07:53 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

共谍常凯申共谍常凯申当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2015-11-19 头像被屏蔽	发表于 2020-10-8 10:22 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

66666 66666 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2002-8-22 头像被屏蔽	发表于 2020-10-8 10:34 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

66666 66666 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2002-8-22 头像被屏蔽	发表于 2020-10-8 10:37 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报