切换到窄版

 找回密码
 立即注册
搜索
Stage1st»论坛 › 主论坛 › ＰＣ数码 › 咨询一下MPV懒人包补帧问题
返回列表 发新帖
查看: 2149|回复: 18

[软件] 咨询一下MPV懒人包补帧问题

[复制链接]
yxch
     
发表于 2024-10-23 11:49 | 显示全部楼层 |阅读模式
本帖最后由 yxch 于 2024-10-23 22:13 编辑

听闻RIFE补帧效果好，想试一下，搜到了这个懒人包 https://github.com/hooke007/MPV_lazy/releases/tag/20240824 （网上还有一些步骤繁琐的教程，那个我是真的搞不定）
这个包补帧滤镜是能够正常工作的，但是着色器超分都不起作用，（滤镜中的两个超分预设是起作用的）凭我的技术能力根本不知道从何下手，一头雾水。求个解决方案，或者有整合好的懒人包也行，需求是视频RIFE补帧到60fps的同时可以开启超分辨率，显卡是4090性能肯定带得动。（补帧如果是以原视频帧数的倍率进行补帧也可以，这个我会调整）
微信截图_20241023114741.png 微信截图_20241023114801.png
更新一下：
经过仔细比对，着色器超分效果是有的，但非常不明显，而滤镜中的两个超分选项效果非常明显，如果说滤镜超分的效果是10分的话，着色器的超分效果大概为0.5~1分。超分滤镜虽然效果明显，对真人视频效果并不好，会出现严重涂抹感，对2D效果拔群。
回复

使用道具 举报

keytomylife0
     
发表于 2024-10-23 12:24 | 显示全部楼层
实际是起作用的
你试试暂停了开/关着色器看看边缘有没锐化，别用新片测，很难看出来
90年代的4：3影片着色器效果较为明显
回复

使用道具 举报

zmw_831110
     
发表于 2024-10-23 12:42 | 显示全部楼层
本帖最后由 zmw_831110 于 2024-10-23 12:44 编辑

大致思路就是
找到MPV路径里.vpy放置的文件夹.
新建.vpy文件,修改你想要的组合.
把input.conf里原本超分的.vpy改成这个.vpy，就可以同时插帧+ 超分了。

ESRGAN里model号对应的关系,比较通用的是5010,动画定向优化的是5007
051836nm17zjj2muo71brm.webp

RIFE的model号对应关系,46很差,建议4151起
090647f47v1jdjjlj5ly1v.webp


现在没电脑,晚上会去看看,当时我怎么改的.
因为我是4070TiS,最终发现我超分我只能搞到1080p然后再RIFE,否则我就别想视频加速播放了.

我最终是改出几个菜单.
仅RIFE模型4151 2.5X --对应24→60FPS
仅RIFE模型4151 2.4X --对应25→60FPS
仅RIFE模型4151 2X --对应30→60FPS
仅超分到1440p模型5007
仅超分到1440p模型5010
超分到1080p模型5007+RIFE模型4151 2X
超分到1080p模型5010+RIFE模型4151 2X




RIFE和ESRGAN配置:
下面的脚本的参数都是默认状态的,你根据自己的需求自己改

单独开启RIFE用的MEMC_RIFE_NV.vpy
  1. ### [url]https://github.com/hooke007/MPV_lazy/wiki/3_K7sfunc[/url]
  2. ### RIFE (v4+) 补帧，性能要求较高，N卡专用

  4. import vapoursynth as vs
  5. from vapoursynth import core
  6. import k7sfunc as k7f

  8. clip = video_in

  10. ############
  11. # 用户选项 #
  12. ############

  14. H_Pre = 1440
  15. Lt_D2k = False
  16. Model = 46
  17. Ext_Proc = False
  18. #Ext_Proc = True
  19. T_Tta = False
  20. Fps_Num = 2
  21. Fps_Den = 1
  22. Sc_Mode = 1
  23. Gpu = 0
  24. Gpu_T = 2
  25. St_Eng = False
  26. Ws_Size = 0
  27. Lk_Fmt = False
  28. ## 整数，预降低处理源高度（填你的显示器高度）
  29. ## <True|False> 是否对超过DCI2K分辨率的源进行补帧
  30. ## <46|415|4151> 使用的模型
  31. ## <True|False> 是否使用外部的填充裁切处理
  32. ## <True|False> 是否使用ensemble版模型
  33. ## 整数，Fps_Num/Fps_Den 的值即帧率倍数
  34. ## 整数
  35. ## <0|1|2> 场景切换检测的模式，0为禁用
  36. ## 使用的显卡序号，0为排序一号
  37. ## <1|2|3> 显卡线程数
  38. ## <True|False> 是否使用静态引擎（需要对不同分辨率的源各进行预处理）；动态引擎自适应不同分辨率（QVGA→DCI4K）
  39. ## 整数，约束显存（MiB），静态引擎的最小值为128（动态引擎自动双倍），设为低于此数的值即最大化利用
  40. ## <True|False> 锁定像素格式为yuv420p8

  42. ret = k7f.FPS_CTRL(clip, fps_in=container_fps, fps_ret=True)
  43. clip = k7f.FMT_CTRL(clip, h_max=H_Pre, fmt_pix=1 if Lk_Fmt else 0)
  44. clip = k7f.RIFE_NV(clip, lt_d2k=Lt_D2k, model=Model, ext_proc=Ext_Proc, t_tta=T_Tta, fps_in=container_fps, fps_num=Fps_Num, fps_den=Fps_Den, sc_mode=Sc_Mode, gpu=Gpu, gpu_t=Gpu_T, st_eng=St_Eng, ws_size=Ws_Size)

  46. clip.set_output()
复制代码


单独开启ESRGAN用的SR_ESRGAN_NV.vpy
  1. ### [url]https://github.com/hooke007/MPV_lazy/wiki/3_K7sfunc[/url]
  2. ### Real-ESRGAN 放大或降噪，性能要求极高，N卡专用

  4. import vapoursynth as vs
  5. from vapoursynth import core
  6. import k7sfunc as k7f

  8. clip = video_in

  10. ############
  11. # 用户选项 #
  12. ############

  14. H_Pre = 720
  15. Lt_Hd = False
  16. Model = 5005
  17. Gpu = 0
  18. Gpu_T = 2
  19. St_Eng = False
  20. Ws_Size = 0
  21. H_Max = 1440
  22. Lk_Fmt = False
  23. ## 整数，预降低处理源高度
  24. ## <True|False> 是否对超过HD分辨率（720P）的源进行处理
  25. ## <0|2|5005|5006|5007> 使用的模型
  26. ## 使用的显卡序号，0为排序一号
  27. ## <1|2|3> 使用的显卡线程数
  28. ## <True|False> 是否使用静态引擎（需要对不同分辨率的源各进行预处理）；动态引擎自适应不同分辨率（64²→DCI2K）
  29. ## <0~1024> 约束显存（MiB），静态引擎的最小值为128（动态引擎自动双倍），设为低于此数的值即为不限制
  30. ## 整数，输出高度限制（填你的显示器高度）
  31. ## <True|False> 是否锁定像素格式为yuv420p8

  33. ret = k7f.FMT_CTRL(clip, h_max=1200, h_ret=True)
  34. clip = k7f.FMT_CTRL(clip, h_max=H_Pre, fmt_pix=1 if Lk_Fmt else 0)
  35. clip = k7f.ESRGAN_NV(clip, lt_hd=Lt_Hd, model=Model, gpu=Gpu, gpu_t=Gpu_T, st_eng=St_Eng, ws_size=Ws_Size)
  36. clip = k7f.FMT_CTRL(clip, h_max=H_Max, fmt_pix=1 if Lk_Fmt else 0)

  38. clip.set_output()
复制代码


同时开启RIFE+ESRGAN用的MEMC_RIFE_NV_SR_ESRGAN_NV.vpy

有引用上面的2个文件
  1. import k7sfunc as k7f

  3. clip = video_in

  5. if clip.height <= 1080 :
  6.     clip = k7f.FMT_CTRL(clip, h_max=720, fmt_pix=1)
  7.     clip = k7f.ESRGAN_NV(clip, lt_hd=True, gpu=0)
  8.     clip = k7f.FMT_CTRL(clip, h_max=1440)

  10. if container_fps <= 32 :
  11.     clip = k7f.FMT_CTRL(clip, h_max=1440, fmt_pix=1)
  12.     clip = k7f.RIFE_NV(clip, lt_d2k=True, model=46, gpu=0)

  14. if not (clip == video_in) :
  15.     clip.set_output()
复制代码

评分

参与人数 1战斗力 +2 收起 理由
yxch + 2 多谢，我斗胆试试

查看全部评分

回复

使用道具 举报

无能狂怒人
     
发表于 2024-10-23 13:18 | 显示全部楼层
好奇，这个 RIFE 补帧效果和 SVP 比起来哪个好一点？

—— 来自 S1Fun
回复

使用道具 举报

yxch
     
 楼主| 发表于 2024-10-23 13:22 | 显示全部楼层
keytomylife0 发表于 2024-10-23 12:24
实际是起作用的
你试试暂停了开/关着色器看看边缘有没锐化，别用新片测，很难看出来
90年代的4：3影片着色 ...

我用新出的乱马试的，开超分滤镜效果超级明显，开着色器每个都试一遍，完全看不出来效果。我再仔细比对一下
回复

使用道具 举报

qwased
     
发表于 2024-10-23 15:24 来自手机 | 显示全部楼层
rife默认下会缩到720p再插帧吧，着色器在滤镜前面所以拉上去就给缩了（大概是这样
把rife配置文件里面的输出分辨率改改
回复

使用道具 举报

zmw_831110
     
发表于 2024-10-23 15:43 来自手机 | 显示全部楼层
本帖最后由 zmw_831110 于 2024-10-23 15:46 编辑
qwased 发表于 2024-10-23 15:24
rife默认下会缩到720p再插帧吧，着色器在滤镜前面所以拉上去就给缩了（大概是这样
把rife配置文件里面的输 ...

可以改，我是设置的超过1440p就缩小到到1440p再插帧
H_Pre = 1440
Lt_D2k = False
## 整数，预降低处理源高度（填你的显示器高度）
## <True|False> 是否对超过DCI2K分辨率的源进行补帧

要完全不降分辨率插帧
H_Pre = 2160
Lt_D2k = Ture
要求4080以及以上的显卡才可以24*2，我的4070TiS设置成这样，跑测试在47.X，有的视频可以，有的不行，而且不能开任何滤镜，否则也不行，后来感觉易用性不好，就改成最多1440了
回复

使用道具 举报

WhiteGlint
     
发表于 2024-10-23 16:03 | 显示全部楼层
4090我在4K杜比跑4221模型24-48fps 会音画对不齐啊，而且显卡也没吃满，不知道是不是我U瓶颈
回复

使用道具 举报

keytomylife0
     
发表于 2024-10-23 16:06 | 显示全部楼层
本帖最后由 keytomylife0 于 2024-10-23 16:29 编辑
yxch 发表于 2024-10-23 13:22
我用新出的乱马试的，开超分滤镜效果超级明显，开着色器每个都试一遍，完全看不出来效果。我再仔细比对一 ...

mpv-shot0002.jpg
mpv-shot0001.jpg

再补一张超分+着色器的
mpv-shot0000.jpg

旧版乱马也就看出一丁点区别，新版肯定没作用

着色器对近15年的动画个人觉得是毫无帮助，也就老片看起来锐利点



回复

使用道具 举报

yxch
     
 楼主| 发表于 2024-10-23 16:29 | 显示全部楼层
keytomylife0 发表于 2024-10-23 16:06
旧版乱马也就看出一丁点区别，新版肯定没作用

着色器对近15年的动画个人觉得是毫无帮助，也就老片看起 ...

主要是我开超分滤镜效果特别明显，相比之下就感觉着色器都不起作用，你们这么一说，我也不确定是真没起作用还是我没分辨出来
回复

使用道具 举报

keytomylife0
     
发表于 2024-10-23 17:09 | 显示全部楼层
yxch 发表于 2024-10-23 16:29
主要是我开超分滤镜效果特别明显，相比之下就感觉着色器都不起作用，你们这么一说，我也不确定是真没起作 ...

你试试默认 滤镜 着色器 滤镜+着色器 各截一同一张图，不断切换就能看出区别


回复

使用道具 举报

qwased
     
发表于 2024-10-23 17:49 来自手机 | 显示全部楼层
无能狂怒人 发表于 2024-10-23 13:18
好奇，这个 RIFE 补帧效果和 SVP 比起来哪个好一点？

—— 来自 S1Fun

买svp的现在也全在用rife模型了啊根本不是一个次元的效果
回复

使用道具 举报

zmw_831110
     
发表于 2024-10-23 22:14 | 显示全部楼层
yxch 发表于 2024-10-23 16:29
主要是我开超分滤镜效果特别明显，相比之下就感觉着色器都不起作用，你们这么一说，我也不确定是真没起作 ...

新版本的MPV_lazy
作者懒得把着色器放默认包里
要你自己去下载,放到
\mpv-lazy\portable_config\shaders里面去
QQ20241023-221316.jpg

回复

使用道具 举报

zmw_831110
     
发表于 2024-10-23 22:20 | 显示全部楼层
本帖最后由 zmw_831110 于 2024-10-23 22:26 编辑

我的MVP lazy还是2024V1的
你的是2024V2
我的配置,你只可以参考一下,我改了啥地方,也许会对你有帮助(善用Beyond Compare)
代码里"#"是注释符
portable_config_2024V1.zip (6.08 KB, 下载次数: 28)
vs_2024V1.zip (6.12 KB, 下载次数: 33)

注意,因为受限于我的性能
我的RIFE插帧,最大输入分辨率限制在1440p
我的超分+RIFE插帧,限制在超分输出1080p到RIFE
这两部分怎么改,我上面有说RIFE怎么改,超分也是类似的,你改一次,也就侧类旁通了.

另外,如果某次MPV死机,记得删除 \mpv-lazy\portable_config\saved-props.json
否则会不会默认加载上一次的着色器(滤镜)

而RIFE和超分,每次则需要手动开启


评分

参与人数 1战斗力 +2 收起 理由
yxch + 2 好评加鹅

查看全部评分

回复

使用道具 举报

zmw_831110
     
发表于 2024-10-23 22:31 | 显示全部楼层
WhiteGlint 发表于 2024-10-23 16:03
4090我在4K杜比跑4221模型24-48fps 会音画对不齐啊，而且显卡也没吃满，不知道是不是我U瓶颈 ...

开个小飞机,看看视频的帧生成曲线是不是平滑的呢

插帧后,音画不同步,好像我也遇见过,后来搜索解决了,但我已经忘记怎么解决的了,甚至我不记得是不是在MPV上遇见的
到是配置成HDR直通,花了点时间
回复

使用道具 举报

WhiteGlint
     
发表于 2024-10-23 22:44 | 显示全部楼层
zmw_831110 发表于 2024-10-23 22:31
开个小飞机,看看视频的帧生成曲线是不是平滑的呢

插帧后,音画不同步,好像我也遇见过,后来搜索解决了,但 ...

A+V那边偏差值一直在0.2上下跳动 帧生成不稳定 感觉是性能不足 换46模型就好了
回复

使用道具 举报

zmw_831110
     
发表于 2024-10-23 22:48 | 显示全部楼层
本帖最后由 zmw_831110 于 2024-10-23 22:53 编辑
WhiteGlint 发表于 2024-10-23 22:44
A+V那边偏差值一直在0.2上下跳动 帧生成不稳定 感觉是性能不足 换46模型就好了 ...

46很垃圾的...部分表现还不如A卡(GCN)的AFM
建议你试一试415(这个4.15评价很高),我性能不够,用的4151(4.15Lite)
你可以先看看MPV lazy的作者默认给你做好的配置
在mpv-lazy\k7sfunc.py文件里的
  1. ##################################################
  2. ## RIFE补帧
  3. ##################################################

  5. def RIFE_NV(
  6.         input : vs.VideoNode,
  7.         lt_d2k : bool = False,
  8.         model : typing.Literal[46, 415, 4151] = 46,
  9.         ext_proc : bool = True,
  10.         t_tta : bool = False,
  11.         fps_in : float = 23.976,
  12.         fps_num : int = 2,
  13.         fps_den : int = 1,
  14.         sc_mode : typing.Literal[0, 1, 2] = 1,
  15.         gpu : typing.Literal[0, 1, 2] = 0,
  16.         gpu_t : int = 2,
  17.         st_eng : bool = False,
  18.         ws_size : int = 0,
  19.         vs_t : int = vs_thd_dft,
  20. ) -> vs.VideoNode :
复制代码


我更换RIFE,一般是直接改名新版本的RIFE,直接覆盖过去
比如我常用的4151对应的是rife_v4.15_lite.onnx
我就直接把新版本的.onnx文件,直接改成rife_v4.15_lite.onnx去覆盖原本的文件(当然,提前备份好真的rife_v4.15_lite.onnx)
\mpv-lazy\vs-plugins\models\rife_v2\rife_v4.15_lite.onnx
回复

使用道具 举报

WhiteGlint
     
发表于 2024-10-24 00:42 | 显示全部楼层
zmw_831110 发表于 2024-10-23 22:48
46很垃圾的...部分表现还不如A卡(GCN)的AFM
建议你试一试415(这个4.15评价很高),我性能不够,用的4151(4.15 ...

多谢，我试试看。
我是没有降低分辨率插帧，4151模型的A+V偏差值也会维持在0.2
也就是Vpy的配置文件里是
H_Pre = 2160
Lt_D2k = True
预降低处理源高度的话好像就没有问题，但是我感觉4090的性能应该够，我检查一下滤镜方面

回复

使用道具 举报

zmw_831110
     
发表于 2024-10-24 06:56 来自手机 | 显示全部楼层
WhiteGlint 发表于 2024-10-24 00:42
多谢，我试试看。
我是没有降低分辨率插帧，4151模型的A+V偏差值也会维持在0.2
也就是Vpy的配置文件里是

滤镜得关。。。你这个就是性能不够
回复

使用道具 举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|上海互联网违法和不良信息举报中心|网上有害信息举报专区|962110 反电信诈骗|举报电话 021-62035905|Stage1st ( 沪ICP备13020230号-1|沪公网安备 31010702007642号 )

GMT+8, 2024-12-23 06:06 , Processed in 0.059363 second(s), 7 queries , Gzip On, Redis On.

Powered by Discuz! X3.5

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表