MPV RIFE ESRGAN 着色器相关 VS相关讨论

zmw_831110

总结一下这次换4070TiS的体验

我自己是个轻度PC游戏玩家,PC的3A我几乎是不玩的(好像也就GTA偶尔拿出来当叮大师爽爽)
游戏我基本只玩游戏机模拟器,现在用下来性能是溢出的.

但是我对看视频,又莫名得爱瞎折腾.
从Madvr,A卡的AFM,电视自带的插帧.

这次从VEGA 56+RX574换成4070TiS后,结论是A卡看视频的确是处于劣势了.

对于画质较差的古早视频,480p的DVDRip,还有那个虽然标着1080p但是实际就是480p画质的每月合集.
超分ESRGAN(V2模型动画特化,V3模型通用) +插帧RIFE(4.15_Lite以后的模型)
真的是只要你Tensor Core足够,就可以爽玩
4070TiS还是不够爽.
因为我有倍速播放的需求,1.5倍速就意味着,1.5倍的性能开销.
结果导致,我只能
限制540p进ESRGAN,然后出1080p进RIFE插帧2X,如果是24帧视频,1.5倍速播放,这里就是72帧
如果搞成720p输入,就会变成1440p 72帧,这个4070TiS扛不住...感觉的确是4090才爽.

对应1080p的,画质较为正常的视频
着色器+我配好的24,25,30插到60帧的RIFE,就可以很好应对的,1.5倍加速也没问题.(详细内容见36楼)

对于2160p的
必须关闭所有着色器,才可以刚刚够RIFE 2X,一倍速播放就开始丢帧(虽然还不至于卡成PPT,也还能凑合用)
想插帧到60,就得设置成最高1440p的输入,这样是可以满足60帧的性能的(楼下有提到)

MPV的易用性的确是个问题,但是A卡真没有平替的东西可以打
============
关于RIFE的性能要求,和N卡40系列的差别

40系每个SM(Streaming Multiprocessor)有4个Tensor Core(4th Gen) --(20系每个SM有8个Tensor Core(2nd Gen),30系每个SM有4个Tensor Core(3rd Gen))
根据Wiki里的SM数量,可以得到SM*4就是Tensor Core的数量


Tensor Core(2th Gen)
2060            30*8=240个(标称52 AI TOPS,Wiki数据51.6TFLOPS)

Tensor Core(4th Gen)
4060            24*4=96个(标称242 AI TOPS)
4060Ti         32*4=128个(标称353 AI TOPS)
4070            46*4=184个(标称466 AI TOPS,Wiki数据116.8 TFLOPS@FP32)
4070S          56*4=224个(标称568 AI TOPS)
4070Ti         60*4=240个(标称641 AI TOPS,Wiki数据160.4 TFLOPS@FP32)
4070Ti S      66*4=264个(标称706 AI TOPS,估算170 TFLOPS@FP32)
4080            76*4=304个(标称780 AI TOPS,Wiki数据194.9 TFLOPS@FP32)
4080S           80*4=320个(标称836 AI TOPS)
4090D         114*4=456个(标称1177 AI TOPS)
4090            128*4=512个(标称1321 AI TOPS,Wiki数据330.3 TFLOPS@FP32)

RIEF的性能要求(这个是4.6模型的,后面的性能要求应该更高)
TRT版就是基于N卡的Tensor Core做的,效率比NCNN通用版高

2060是最低的具备Tensor Core的显卡,对应RIFE 1080p插帧的性能,能力为51.6 TFLOPS
而2160p其实需要4倍的运算能力,那么4080的194.9 TFLOPS也差不多能对得上.
我的是4070TiS(Wiki没有TFLOPS的数据,估算下来在170 TFLOPS左右),差不多也在临界点了,实测下来,就是勉强24x2FPS.
20系WiKi
https://en.wikipedia.org/wiki/GeForce_20_series
30系WiKi
https://en.wikipedia.org/wiki/GeForce_30_series
40系WiKi
https://en.wikipedia.org/wiki/GeForce_40_series

用RIFE测试脚本,测试下来(所有结果的单位都是FPS)
OC是指显卡自动超频且解锁310W功耗后的数据,如果离目标差那么1帧,也许超频是有用的...更重要的还是Tensor Core的数量(同代Tensor Core)
自动OC的情况(聊胜于无吧)


MPV Lazy的RIFE索引和模型文件名(一般更新,就直接改名覆盖就是了)


ESRGAN的测试结果
实际用下来,如果输入分辨率低的情况,最高的V3模型(5010)的运算需求比V2(5007)其实要低

MPV Lazy的ESRGAN索引对应的模型文件名


============
这几天用下来
基本就是RIFE 24→72插帧用着,替代AFM了
功耗是大了点,算上常用的着色器,基本是200W左右看片.已使用24,25,30到60的RIFE插帧方案.(具体见36楼)
就这样吧,复杂场景,的确RIFE给力(14.5Lite或者14.6Lite可以,4.6不行,对比AFM没有巨大提升的感觉,甚至有明显的插帧的错误)

=============
关于一开始装显卡的事情就删掉了

==========
RIFE+ESRGAN的确效果不错
MPV
新建一个.vpy文件，把input.conf里原本超分的.vpy改成这个.vpy，就可以同时插帧+ 超分了。

1. 
   
2. import k7sfunc as k7f
   
3. 
   
4. clip = video_in
   
5. 
   
6. if clip.height <= 1080 :
   
7.   clip = k7f.FMT_CTRL(clip, h_max=720, fmt_pix=1)
   
8.   clip = k7f.ESRGAN_NV(clip, lt_hd=True, gpu=0)
   
9.   clip = k7f.FMT_CTRL(clip, h_max=1440)
   
10. 
    
11. if container_fps <= 32 :
    
12.   clip = k7f.FMT_CTRL(clip, h_max=1440, fmt_pix=1)
    
13.   clip = k7f.RIFE_NV(clip, lt_d2k=True, model=46, gpu=0)
    
14. 
    
15. if not (clip == video_in) :
    
16.   clip.set_output()
    

复制代码

不过。。。一旦我倍速播放，第一次看到了显卡285W满功耗运行。。。
加上我两张显卡紧贴着，显存温度直接上9X度
我是不是应该把AFM插帧用的RX574拔掉呢

kikka

MPV刚开始折腾的时候RIFE用过一段时间功耗实在太大，最后还是换成SVP了，MPV LAZY的GIT讨论串里有外国网友分享新版的SVP VS插件，我看效果也还行
ESRGAN去年也拿来AB对比了好几天，结论是脑补的实在太厉害，特别是背景纹理补出来完全是两个玩意儿了，还有功耗高，最后还是用A4K那些，加上SVP补帧也就七八十瓦，我是A卡，N卡用RIFE要吃多少电？

zmw_831110

kikka 发表于 2024-5-11 08:21
MPV刚开始折腾的时候RIFE用过一段时间功耗实在太大，最后还是换成SVP了，MPV LAZY的GIT讨论串里有外国网友 ...

我之前也是A卡，VEGA 56，插帧720P就是极限了。

N卡有专属版本，能效提高150%
只要不加速，1080p插帧和超分200W不到，待会我远程家里截图看看

之前折腾插帧+MPV时候的帖子
https://bbs.saraba1st.com/2b/thread-2167991-0-1.html

SVP插帧看你配置的，A卡也许是用CPU的方式？

—— 来自 HONOR MAA-AN10, Android 14上的 S1Next-鹅版 v3.0.0-alpha

稻高一尺

老哥你显卡得加个支架，不然很容易损坏

zmw_831110

稻高一尺 发表于 2024-5-11 08:47
老哥你显卡得加个支架，不然很容易损坏

有的，被线挡住了


—— 来自 HONOR MAA-AN10, Android 14上的 S1Next-鹅版 v3.0.0-alpha

kikka

zmw_831110 发表于 2024-5-11 09:20
有的，被线挡住了

这个挡散热也太严重了还是把A卡拆了吧，N卡最右侧的散热离芯片最远效率是最低的

zmw_831110

@kikka
单纯RIFE的话,好像不怎么耗电.不过ESRGAN配上RIFE就很耗电了....
直接拍照远程桌面了.
720P:GPU 40W左右


开启RIFE 24→48FPS
GPU 60W左右


开启RIFE+ESRGAN
GPU 150W左右


1080P:
开启RIFE 24→48FPS
GPU 73W左右


开启RIFE+ESRGAN
GPU 180W左右




这个MPV lazy是刚下载的最新的着色器还没调默认应该是下面的着色器
saved-props.json

1. {"glsl-shaders":["~~/shaders/AMD_FSR_EASU_rgb_RT.glsl","~~/shaders/Anime4K_Restore_CNN_L.glsl","~~/shaders/Anime4K_Upscale_GAN_x2_M.glsl"],"volume":126}

复制代码

RIFE和ESRGAN配置:
单独开启RIFE用的MEMC_RIFE_NV.vpy
同时开启RIFE+ESRGAN用的MEMC_RIFE_NV_SR_ESRGAN_NV.vpy

MEMC_RIFE_NV_SR_ESRGAN_NV.vpy

1. import k7sfunc as k7f
   
2. 
   
3. clip = video_in
   
4. 
   
5. if clip.height <= 1080 :
   
6.     clip = k7f.FMT_CTRL(clip, h_max=720, fmt_pix=1)
   
7.     clip = k7f.ESRGAN_NV(clip, lt_hd=True, gpu=0)
   
8.     clip = k7f.FMT_CTRL(clip, h_max=1440)
   
9. 
   
10. if container_fps <= 32 :
    
11.     clip = k7f.FMT_CTRL(clip, h_max=1440, fmt_pix=1)
    
12.     clip = k7f.RIFE_NV(clip, lt_d2k=True, model=46, gpu=0)
    
13. 
    
14. if not (clip == video_in) :
    
15.     clip.set_output()

复制代码

MEMC_RIFE_NV.vpy

1. ### [url]https://github.com/hooke007/MPV_lazy/wiki/3_K7sfunc[/url]
   
2. ### RIFE (v4+) 补帧，性能要求较高，N卡专用
   
3. 
   
4. import vapoursynth as vs
   
5. from vapoursynth import core
   
6. import k7sfunc as k7f
   
7. 
   
8. clip = video_in
   
9. 
   
10. ############
    
11. # 用户选项 #
    
12. ############
    
13. 
    
14. H_Pre = 1440
    
15. Lt_D2k = False
    
16. Model = 46
    
17. Ext_Proc = False
    
18. #Ext_Proc = True
    
19. T_Tta = False
    
20. Fps_Num = 2
    
21. Fps_Den = 1
    
22. Sc_Mode = 1
    
23. Gpu = 0
    
24. Gpu_T = 2
    
25. St_Eng = False
    
26. Ws_Size = 0
    
27. Lk_Fmt = False
    
28. ## 整数，预降低处理源高度（填你的显示器高度）
    
29. ## <True|False> 是否对超过DCI2K分辨率的源进行补帧
    
30. ## <46|415|4151> 使用的模型
    
31. ## <True|False> 是否使用外部的填充裁切处理
    
32. ## <True|False> 是否使用ensemble版模型
    
33. ## 整数，Fps_Num/Fps_Den 的值即帧率倍数
    
34. ## 整数
    
35. ## <0|1|2> 场景切换检测的模式，0为禁用
    
36. ## 使用的显卡序号，0为排序一号
    
37. ## <1|2|3> 显卡线程数
    
38. ## <True|False> 是否使用静态引擎（需要对不同分辨率的源各进行预处理）；动态引擎自适应不同分辨率（QVGA→DCI4K）
    
39. ## 整数，约束显存（MiB），静态引擎的最小值为128（动态引擎自动双倍），设为低于此数的值即最大化利用
    
40. ## <True|False> 锁定像素格式为yuv420p8
    
41. 
    
42. ret = k7f.FPS_CTRL(clip, fps_in=container_fps, fps_ret=True)
    
43. clip = k7f.FMT_CTRL(clip, h_max=H_Pre, fmt_pix=1 if Lk_Fmt else 0)
    
44. clip = k7f.RIFE_NV(clip, lt_d2k=Lt_D2k, model=Model, ext_proc=Ext_Proc, t_tta=T_Tta, fps_in=container_fps, fps_num=Fps_Num, fps_den=Fps_Den, sc_mode=Sc_Mode, gpu=Gpu, gpu_t=Gpu_T, st_eng=St_Eng, ws_size=Ws_Size)
    
45. 
    
46. clip.set_output()

复制代码

SR_ESRGAN_NV.vpy

1. ### [url]https://github.com/hooke007/MPV_lazy/wiki/3_K7sfunc[/url]
   
2. ### Real-ESRGAN 放大或降噪，性能要求极高，N卡专用
   
3. 
   
4. import vapoursynth as vs
   
5. from vapoursynth import core
   
6. import k7sfunc as k7f
   
7. 
   
8. clip = video_in
   
9. 
   
10. ############
    
11. # 用户选项 #
    
12. ############
    
13. 
    
14. H_Pre = 720
    
15. Lt_Hd = False
    
16. Model = 5005
    
17. Gpu = 0
    
18. Gpu_T = 2
    
19. St_Eng = False
    
20. Ws_Size = 0
    
21. H_Max = 1440
    
22. Lk_Fmt = False
    
23. ## 整数，预降低处理源高度
    
24. ## <True|False> 是否对超过HD分辨率（720P）的源进行处理
    
25. ## <0|2|5005|5006|5007> 使用的模型
    
26. ## 使用的显卡序号，0为排序一号
    
27. ## <1|2|3> 使用的显卡线程数
    
28. ## <True|False> 是否使用静态引擎（需要对不同分辨率的源各进行预处理）；动态引擎自适应不同分辨率（64²→DCI2K）
    
29. ## <0~1024> 约束显存（MiB），静态引擎的最小值为128（动态引擎自动双倍），设为低于此数的值即为不限制
    
30. ## 整数，输出高度限制（填你的显示器高度）
    
31. ## <True|False> 是否锁定像素格式为yuv420p8
    
32. 
    
33. ret = k7f.FMT_CTRL(clip, h_max=1200, h_ret=True)
    
34. clip = k7f.FMT_CTRL(clip, h_max=H_Pre, fmt_pix=1 if Lk_Fmt else 0)
    
35. clip = k7f.ESRGAN_NV(clip, lt_hd=Lt_Hd, model=Model, gpu=Gpu, gpu_t=Gpu_T, st_eng=St_Eng, ws_size=Ws_Size)
    
36. clip = k7f.FMT_CTRL(clip, h_max=H_Max, fmt_pix=1 if Lk_Fmt else 0)
    
37. 
    
38. clip.set_output()

复制代码

zmw_831110

2160p 默认情况


修改MEMC_RIFE_NV.vpy尝试直接插2160p

1. H_Pre = 2160
   
2. Lt_D2k = True

复制代码

但是4070TiS性能不够插2160p 24→48Upate:这时候因为没有清掉着色器,导致无法顺利RIFE 24→48.
只能插到40帧,开始有丢帧情况.
等回家再试一试直接在2160p 60Hz电视上的情况如何
现在远程,连的是1440p 144Hz的显示器,下采样+高刷新率也许会对性能产生一些负面的作用.


只能设置参数把2160p的视频降分辨率到1440p然后再插帧.Upate:这时候因为没有清掉着色器,导致无法顺利RIFE 24→48.

1. H_Pre = 1440
   
2. Lt_D2k = True

复制代码

kikka

去年整的都记不清了，应该就是自动判断720P和1080P分别挂载ESRGAN和A4K RESTORE，因为一个是VS脚本，一个是滤镜，还要分在两个设置文件，作为无能力者折腾了大半天才搞清楚，妹想到看个冻鳗还要学点编程思路而且这个MPV的逻辑和一般的软件不一样，它不会保存滤镜插件这些设置，每次打开新视频要手动选择，最后还是研究半天文档才会设置自动挂载的
720P实在太糊（4K屏）所以用ESRGAN脑补，1080P以上用A4K滤镜正合适，脑补出来截图AB对比完全变了。
MPV插帧加A4K滤镜120~140W显卡60度不到（6800XT）也很安静，平常看新番就用这个配置。

zmw_831110

试了2160p 60Hz下插2160p还是不行
丢帧了
真的如https://github.com/hooke007/MPV_lazy/discussions/123?sort=new里面说的


2160p插帧需要4080级别,4070TiS差那么点都不行

zmw_831110

kikka 发表于 2024-5-11 19:17
去年整的都记不清了，应该就是自动判断720P和1080P分别挂载ESRGAN和A4K RESTORE，因为一个是VS脚本，一个是 ...

ESRGAN最合适的场景应该是超分那种每个月的合集

zmw_831110

MPV Lazy的46(REFI 4.6)在看素晴片尾那个黑色小家伙在文字上跳来跳去产生伪像
换用rife_v4.15_lite,伪像就没有了.功耗也上去了一点.

RIFE 2倍24→48 平移的场面还是没AFM平滑
设置到3倍24→72 就差不多了(显示器刷新率也要设置到120Hz)
插1080P,功耗也到了230W左右.


更新，也许是换了着色器不开RIFE时功耗上去了30W左右，有的1080p视频RIFE 3倍稳不住，功耗285W顶着极限跑了，还是只能2倍用

在mpv.conf把着色器改成

1. 
   
2. glsl-shaders = "~~/shaders/AMD_FSR_EASU_rgb_RT.glsl;~~/shaders/Anime4K_Restore_CNN_L.glsl;~~/shaders/CuNNy_2x8_DS_vk.glsl"
   

复制代码

可以24→72了,功耗恢复到230W...

waldo

kikka 发表于 2024-5-11 08:21
MPV刚开始折腾的时候RIFE用过一段时间功耗实在太大，最后还是换成SVP了，MPV LAZY的GIT讨论串里有外国网友 ...

这里的ESRGAN是懒人包里面的Animejanai吗？这个初版确实太油画化了，但是v2大幅度减少油画程度已经完全是Anime4K的上位，现在的v3则是更加向NGU的方向靠拢，性能不是瓶颈的时候Anime4K是完全没有优势的

zmw_831110

waldo 发表于 2024-5-13 10:25
这里的ESRGAN是懒人包里面的Animejanai吗？这个初版确实太油画化了，但是v2大幅度减少油画程度已经完全是 ...

是vs文件夹里的
SR_ESRGAN_NV.vpy

话说着色器脚本有么？
根据不同分辨率制定不同着色器的
楼上有发一部分，还没去研究。

的确存在部分低分辨率适合的暴力着色器，1080p的基本就往NGU方向靠比较好，否则线条勾勒太狠，反而影响观感

—— 来自 HONOR MAA-AN10, Android 14上的 S1Next-鹅版 v3.0.0-alpha

win8

mpv的着色器太烧脑子了，我之前还想自己改改，但是后来发现实在看不下去。

zmw_831110

win8 发表于 2024-5-13 12:19
mpv的着色器太烧脑子了，我之前还想自己改改，但是后来发现实在看不下去。 ...

主要还是没有人帮你分好前后关系.
啥都要去看文档...
胡乱搭配,先不提功耗爆炸,而且极有可能越调越差.
如果着色器有个GUI界面的就好了.

madvr自动根据分辨率和帧率来分配制文件也要写脚本,很早以前看了个范例自己写了个.
但那个只要写条件,缩放算法的选择好歹还是有GUI的.

MPV是真的给程序员玩的

waldo

zmw_831110 发表于 2024-5-13 11:59
是vs文件夹里的
SR_ESRGAN_NV.vpy

就是这个，5000~5004是v1，已经废弃了；5005~5007是v2；5008~5010是v3

当下片源都是1080p为主，个别4k手动切换，就懒得研究自动脚本了

zmw_831110

waldo 发表于 2024-5-13 13:48
就是这个，5000~5004是v1，已经废弃了；5005~5007是v2；5008~5010是v3

当下片源都是1080p为主，个别4k手 ...

实测下来,的确如@win8 所说
ESRGAN其实并不适合本身压制得还不错的1080p
使用的话,会把原来的味道都改掉.
这个还是只适合,720p以及以下的分辨率,并且片源比较垃圾的(比如每月合集的那种...

真得研究一下,自适应,否则每次还得根据不同的片源,自己手工切

waldo

zmw_831110 发表于 2024-5-13 13:52
实测下来,的确如@win8 所说
ESRGAN其实并不适合本身压制得还不错的1080p
使用的话,会把原来的味道都改掉.

试试5009，不过压力有点大

zmw_831110

waldo 发表于 2024-5-13 14:14
试试5009，不过压力有点大

glsl-shaders = "~~/shaders/AMD_FSR_EASU_rgb_RT.glsl;~~/shaders/Anime4K_Restore_CNN_L.glsl;~~/shaders/CuNNy_2x8_DS_vk.glsl

这套着色器开销其实还不错，1080到2160p去糊了，还挺平衡的

—— 来自 HONOR MAA-AN10, Android 14上的 S1Next-鹅版 v3.0.0-alpha

kikka

zmw_831110 发表于 2024-5-13 13:52
实测下来,的确如@win8 所说
ESRGAN其实并不适合本身压制得还不错的1080p
使用的话,会把原来的味道都改掉.

自适应就是在vpy里把ESRGAN触发高度改成720P，然后profile里写一个条件触发的配置，这些玩意儿思路是很简单明了的，问题就是藏在好几个说明文档里要自己理解语句和变量
除此之外例如滚轮调节音量这样的操作也是要先找文档说明才知道怎么改操作配置，换个新版本还不能直接覆盖文件

5009试了下功耗还是高，和5008截图对比其实也相差不大，和A4K相比对原片的改动非常小，基本就是把一些线条边缘瑕疵修了，而A4K一看就是锐化过度的感觉，但是也很难说孰优孰劣，只是口味区别，对我来说更重要的是功耗和噪音

另外还有一个简单点的GUI版本可以试试，不过我的建议是无能力者就别折腾这些了，真的没必要
https://github.com/diana7127/mpv.net-DW

zmw_831110

kikka 发表于 2024-5-14 09:13
自适应就是在vpy里把ESRGAN触发高度改成720P，然后profile里写一个条件触发的配置，这些玩意儿思路是很简 ...

对于我们这种无能力者，最好的办法是分享范例，我顶多就只会用Beyond Compare 对比下你们改了哪里

这样比看文档强。。。

—— 来自 HONOR MAA-AN10, Android 14上的 S1Next-鹅版 v3.0.0-alpha

zmw_831110

嗯...
PCIE 4.0 x16 插RX574
PCIE 4.0 x4 插4070TiS
我要不要蛋疼得去试一试这样我可以兼顾4070TiS的温度,和还可以继续用GCN A卡的AFM

https://www.reddit.com/r/nvidia/ ... 4080_to_the_limits/

Oculink显卡坞性能跑分：

接RTX 4070 Ti Super：

Time Spy图形分
台式：24613
显卡坞（内屏）：22199
性能损失：9.8%

接RTX 4090：

Time Spy图形分
台式：36487
显卡坞（内屏）：28230
性能损失：22.6%
显卡坞（外屏）：30429
性能损失：16.6%

Time Spy Extreme图形分
台式：19930
显卡坞（内屏）：18902
性能损失：5.2%
显卡坞（外屏）：19925
性能损失：0

看差异,差不多变成4070S的性能(内屏)
我这种用法,应该是他们所谓的外屏(直接接目标显卡输出),损失应该还会更小.

kikka

clip = k7f.FMT_CTRL(clip, h_max=720, fmt_pix=1)
你用这个参数是把视频压成720P 8bit处理了，即使你用2K屏也该选10bit吧
我这个6800XT性能只能支持到720P 10bit或者1080P 8bit,这样处理输出1440P或者2160P，不过分辨率差异还是不如色阶断层来的明显
最终决定5008超分+SVP补帧功耗90~100W，画质比A4K强，720P和1080P新番通杀，没啥要折腾的了

720P原片、A4K-RESTORE、ANIMEJANAI V3 5008、MPC BE-NGU

暁美ほむら

kikka 发表于 2024-5-14 20:49
clip = k7f.FMT_CTRL(clip, h_max=720, fmt_pix=1)
你用这个参数是把视频压成720P 8bit处理了，即使你用2K ...

NGU建议配合RCA来使用

zmw_831110

kikka 发表于 2024-5-14 20:49
clip = k7f.FMT_CTRL(clip, h_max=720, fmt_pix=1)
你用这个参数是把视频压成720P 8bit处理了，即使你用2K ...

A4K明显把创作意图扭曲了。。。
原本的背景虚化也被勾勒没了
5008的确和NGU比较接近

话说，真人的话，推荐什么类型的滤镜组合呢？

—— 来自 HONOR MAA-AN10, Android 14上的 S1Next-鹅版 v3.0.0-alpha

kikka

zmw_831110 发表于 2024-5-15 01:04
A4K明显把创作意图扭曲了。。。
原本的背景虚化也被勾勒没了
5008的确和NGU比较接近

可以配合自定义模型食用，不过绝大部分都是训练冻鳗风格的https://github.com/hooke007/MPV_lazy/wiki/3_K7sfunc#uai_nv_trt
https://github.com/hooke007/dotfiles/releases/tag/onnx_models
或者用着色器版本的放大算法，要折腾的话可以在Input设置好快捷键方便对比

https://hooke007.github.io/unofficial/mpv_shaders.html#fsrcnnx

kikka

暁美ほむら 发表于 2024-5-15 00:15
NGU建议配合RCA来使用

折腾MADVR太久记不清了，RCA好像也是修图修的有点多 丢细节，还有功耗爆炸
还有BFRC配合AFM补帧会强制压8bit
最大的问题是A卡驱动，插了560补帧就频繁掉驱动，单插6800xt就不掉，这也是我转投MPV的主因

zmw_831110

mexiku 发表于 2024-5-15 08:27
https://github.com/dyphire/mpv-config/blob/master/mpv.conf
要不试试NNEDI3？可以帮忙测试下不插帧的资 ...

怎样的渲染器组合你发一下
晚上我回去试一下

—— 来自 HONOR MAA-AN10, Android 14上的 S1Next-鹅版 v3.0.0-alpha

zmw_831110

kikka 发表于 2024-5-15 09:00
折腾MADVR太久记不清了，RCA好像也是修图修的有点多 丢细节，还有功耗爆炸
还有BFRC配合AFM补帧会强制压8 ...

我之前都是GCN也许好些(VEGA 56+RX574)
如果是RDNA和GCN的组合，注意2种驱动都要打，你主用RDNA的话，也许应该先打北极星VEGA驱动(设置好GCN显卡后再打RDNA驱动然后GCN显卡就不要动设置了。

—— 来自 HONOR MAA-AN10, Android 14上的 S1Next-鹅版 v3.0.0-alpha

伊克路西安

kikka 发表于 2024-5-14 20:49
clip = k7f.FMT_CTRL(clip, h_max=720, fmt_pix=1)
你用这个参数是把视频压成720P 8bit处理了，即使你用2K ...

可以帮忙对比下这两种着色器配置的效果吗：

1. ~~/shaders/CfL_Prediction.glsl;~~/shaders/Anime4K_Clamp_Highlights.glsl;~~/shaders/Anime4K_Restore_CNN_soft_M.glsl;~~/shaders/ravu_zoom_ar_r3_rgb.glsl

复制代码

1. ~~/shaders/CfL_Prediction.glsl;~~/shaders/Anime4K_Clamp_Highlights.glsl;~~/shaders/Anime4K_Restore_CNN_L.glsl;~~/shaders/ravu_zoom_ar_r3_rgb.glsl

复制代码

zmw_831110

mexiku 发表于 2024-5-15 12:28
或者

https://github.com/dyphire/mpv-config/tree/master/shaders

nnedi3-nns32-win8x4.glsl

1. glsl-shaders="~~/shaders/nnedi3/nnedi3-nns32-win8x4.glsl;~~/shaders/igv/KrigBilateral.glsl;~~/shaders/igv/SSimSuperRes.glsl;~~/shaders/igv/SSimDownscaler.glsl"

复制代码

仅渲染器,功耗很小,60W以内


插到72帧
功耗根据场景,14XW~200W跳动


==================
nnedi3-nns64-win8x4.glsl

1. glsl-shaders="~~/shaders/nnedi3/nnedi3-nns64-win8x4.glsl;~~/shaders/igv/KrigBilateral.glsl;~~/shaders/igv/SSimSuperRes.glsl;~~/shaders/igv/SSimDownscaler.glsl"

复制代码

感觉功耗差不多,体感功耗比nns32大5~10W的样子


插到72帧
功耗根据场景,14XW~210W跳动


特意关闭MPV后,去看"saved-props.json",是生效的(这几天刚开始玩,一开始都把要删除saved-props.json才能生效mpv.conf里的着色器配置的事给忘了...)

zmw_831110

RIFE搭配参数可以实现
24→60
25→60
30→60

60后,平移画面就流畅了,否则之前即使插到3倍,24→72,平移也是不平滑的.

RIFE插帧后帧率=源帧率*Fps_Num/Fps_Den
所以
FPS24→60
Fps_Num = 5
Fps_Den = 2

FPS25→60
Fps_Num = 12
Fps_Den = 5

FPS30→60
Fps_Num = 2
Fps_Den = 1

因为跑了个分,发现4070TiS默认应该还是可以插2160p 48帧的

发现着色器对性能的影响还是很大的(特别是插帧后)
今天测了一下清除所有着色器后2160p的HDR视频的RIFE插帧

4070Ti S针对2160p视频使用rife_v4.16_lite模型(直接改名成rife_v4.15_lite.onnx,覆盖了原本的4.15_lite文件,model索引4151;4.6虽然性能要求最低,但是瑕疵很多,不用了)
可以勉强补2160p 24→48 (帧生成不平滑,但还可以看)
H_Pre = 2160
Lt_D2k = True
Fps_Num = 2
Fps_Den = 1
HDR截图后就这个样子,凑合看吧



降低成1440p 24→60是不错的选择,帧生成很平滑
H_Pre = 1440
Fps_Num = 5
Fps_Den = 2
HDR截图后就这个样子,凑合看吧

WhiteGlint

喜欢Anime4K的整体锐化但是又不喜欢本应虚化的背景被涂抹，应该用什么着色器比较好？
用的mpv lazy的mega包

zmw_831110

WhiteGlint 发表于 2024-6-17 08:39
喜欢Anime4K的整体锐化但是又不喜欢本应虚化的背景被涂抹，应该用什么着色器比较好？
用的mpv lazy的mega包 ...

你是什么显卡?
可以试一试VS脚本里的SR_ESRGAN_NV.vpy (7楼有提到)
修改里面的Model,改成5007(这个是Anime4K类型的最强版,比Anime4K好,但消耗也比较大)

WhiteGlint

zmw_831110 发表于 2024-6-17 09:43
你是什么显卡?
可以试一试VS脚本里的SR_ESRGAN_NV.vpy (7楼有提到)
修改里面的Model,改成5007(这个是Anim ...

58x3d+4090
感谢推荐 之前爬楼没看到 回去试试。
现在RIFE 415模型从24补到60显卡占用就已经40%多了 感觉有点热
再叠一层试试看怎么样。

zmw_831110

WhiteGlint 发表于 2024-6-17 09:47
58x3d+4090
感谢推荐 之前爬楼没看到 回去试试。
现在RIFE 415模型从24补到60显卡占用就已经40%多了 感觉 ...

你再加速播放试一试，功耗也爆炸，我觉得看视频是得4090才爽
现在超分+RIFE 我必须限制超分输入540P，才可以满足1.5倍速播放不丢帧

—— 来自 HONOR MAA-AN10, Android 14上的 S1Next-鹅版 v3.0.0.81-alpha