关于视频转码，我这是不是瓶颈在2.5G网卡要10gb网卡了

Lookpapa · 发表于 2024-3-17 00:31

本帖最后由 Lookpapa 于 2024-3-17 01:14 编辑

如题，HANDBRAKE转码的时候时间比较长，
散热大，现在这工作从一号机扔给二号机放角落慢慢干。

转码时分别以：
·二号机通过网线直连一号机，读取一号机M2 SSD盘的数据转码，耗时1小时30分以上
·一号机直接读取本地M2 SSD盘数据转码，耗时1小时14分左右

二号机转码时读取网速、一号机转码时读取本地硬盘对比：
network vs m2.jpg

以前一号机用13700K转码时，耗时其实和升级14700K后差距不大，都在1小时14~16分左右。
但二号机即使用了13700K，耗时估计超过1小时30分（转码10分钟后，预估耗时还在不断增加）

请教各位，如果要二号机从一号机读取源文件转码，瓶颈是在2.5G网速上么？
是不是要买2个10GB的万兆网卡直连？

还是要调整其他？

Lookpapa · 发表于 2024-3-17 00:43

xiaoyaowuming 发表于 2024-3-17 00:37
你研究转码时间之前有没有研究过你这玩意硬盘的读写占用了多少？

看任务管理器的话都很闲啊。
不超过5%吧。

这2台电脑装的无论是系统盘还是转码盘或者存放文件的都是M2硬盘，读速都超过7000mb/s

Lookpapa · 发表于 2024-3-17 00:48

糊状物发表于 2024-3-17 00:45
你自己不能看看网络负载吗？

—— 来自 Xiaomi MI 8, Android 10上的 S1Next-鹅版 v2.5.4 ...

顶楼第二张图有网络负载。

周期性满载2gbps

Lookpapa · 发表于 2024-3-17 00:51

xiaoyaowuming 发表于 2024-3-17 00:47
所以你觉得这个时间不对有没有可能是你共享协议的问题呢

这个不大懂啊大师！
该怎么确认改善？？

Lookpapa · 发表于 2024-3-17 00:54

日日夜夜发表于 2024-3-17 00:40
太长又没个重点懒得看，先说结论，转码不可能是网络瓶颈

以前二号机没升级前，千兆网络的时候那个网载负荷一直是100%的天花板没掉过下来。
这次升级CPU和M2硬盘后，2.5G网络是周期性满载，有起有落，所以不知道该不该买个万兆网卡……

Lookpapa · 发表于 2024-3-17 00:56

xiaoyaowuming 发表于 2024-3-17 00:52
你这网卡是10g的那光模块是啥的？

10g是我想以后追加的（如果网速确认是瓶颈的话），现在没有10g网卡。
现在的网卡都是2块主板自带的2.5G网卡。

Lookpapa · 发表于 2024-3-17 01:11

日日夜夜发表于 2024-3-17 01:04
妈耶，我看了下您这是830GB的源文件，转码可是要一个一个bit读的，你算算830GB/2.5Gbps要多长时间，至少也 ...

受你提示后得到启发，要不试着把文件从一号机传过去二号机，然后让二号机在本地转一次。
对比传输时间和二号机本地转码时间，如果本地转码时间比传输时间快的话，那瓶颈就在网速，可以这么推理么

Lookpapa · 发表于 2024-3-17 01:13

日日夜夜发表于 2024-3-17 01:04
妈耶，我看了下您这是830GB的源文件，转码可是要一个一个bit读的，你算算830GB/2.5Gbps要多长时间，至少也 ...

二号机读取一号机文件转码目前还有个问题，就是那个预计完成时间我是估的。
因为转了10分钟后，预计时间是1小时25分而且还在缓慢增加中

Lookpapa · 发表于 2024-3-17 01:15

糊状物发表于 2024-3-17 01:10
躺床了，看了一下Windows的smb自身是可以设置带宽限制的，你本地共享本地读取看看限制带宽有无效果？有效 ...

这个不大懂，我明天确认一下怎么弄

Lookpapa · 发表于 2024-3-17 01:15

wewai 发表于 2024-3-17 01:08
Intel CPU 好办，挂个 VTune 看下。

新名词不大懂，我明天百度一下吧……

Lookpapa · 发表于 2024-3-17 01:20

糊状物发表于 2024-3-17 01:10
躺床了，看了一下Windows的smb自身是可以设置带宽限制的，你本地共享本地读取看看限制带宽有无效果？有效 ...

这是最极端的状况，是目前我交付文件最大的一个

一般4K的源文件在70G~80G之间，耗时也就10~20分钟。

但我之前在星寰广场拍的一个8K的夜景也有700多G左右，这8K文件转码太吓人了。

转码时我1号机隔着机箱都觉得热，以为要爆炸了

Lookpapa · 发表于 2024-3-17 01:29

日日夜夜发表于 2024-3-17 01:14
可以这样试一试你不实践一下很难猜测这种黑盒子实际运行起来是什么情况
但是网络传输也会消 ...

你真是人才，又提醒我了！！
在转码的时候如果干其他的，预计完成时间会增长

所以我才想用二号机转码啊！不然用一号机转码我就不能干别的事了。
所以异地转码其实cpu在转码同时还要分心管传输，所以拖慢了速度？难怪预计完成时间在缓慢增加…

Lookpapa · 发表于 2024-3-17 01:38

xiaoyaowuming 发表于 2024-3-17 01:26
我给你的个人建议是把70到80g的文件拿来测试一下如果没问题下次800g的文件请直接单机压缩这样省钱又不 ...

一号机是主力机除了编辑视频还能玩游戏上网所以不舍得这么折腾转码

我得研究一下如何多台电脑在达芬奇下协作，
简单讲就是把素材放二号机，一号机完成剪辑回放和渲染，二号机做本地交付和转码。

不知道多台协作的话2.5g网络够不够用就是了。
可能还是要买2个10g网卡直连？

Lookpapa · 发表于 2024-3-17 01:46

xiaoyaowuming 发表于 2024-3-17 01:34
我研究了一下…你要真考虑整转码你需要的是7950x3d才对吧…14900k好像也拼不过全大核的u才对啊 ...

我原来主力一号机用的13700k，作用当然不止转码，还要靠核显在达芬奇做h265加速呢。所以改造二号机的时候我把一号机的13700k拆下来了。毕竟后面可以两台一起做协作，都有intel核显的话搭配会灵活一点

Lookpapa · 发表于 2024-3-17 01:57

wewai 发表于 2024-3-17 01:53
只是直连的话，现在很方便就能搞到更高的带宽
我现在用的是 MCX4121A，两百一张 2x25G，再花不到 100 买个 ...

我想买2张万兆通x520-da1的10g网卡直连。他家有配套的光口

Lookpapa · 发表于 2024-3-17 02:05

xiaoyaowuming 发表于 2024-3-17 01:55
还是那句话你要不整800g就6分钟的玩意万兆网卡咋也够了你要是用2.5G网卡传输80g文件也就5分钟差不多 ...

买2张300块的10g网卡直连，这是我能想到最便宜的方法了

Lookpapa · 发表于 2024-3-17 02:10

xiaoyaowuming 发表于 2024-3-17 02:00
我琢磨你应该参考上面那个朋友不行就买25G的直连虽然10G的能便宜点但是你要总整大文件的话 10G过两天也 ...

其实吧，得益于大法的压缩，8k25p素材可选200mbps，后期压成同样200mbps的8k文件，存储压力也不是非常大。毕竟一个50p的4k素材也就200mbps，素材和最终压制成片的压力还顶得住。

但这交付的8k无损mov文件就有点恐怖了，是4k的10倍啊！

Lookpapa · 发表于 2024-3-17 02:24

xiaoyaowuming 发表于 2024-3-17 02:19
可是他说的网卡200一张比你这个300的便宜啊而且还是25G 万兆只有10G

200一张25g网卡，这有点吓人啊

Lookpapa · 发表于 2024-3-17 11:21

wewai 发表于 2024-3-17 04:05
更正一下，根据 https://network.nvidia.com/files ... tx-4-lx-en-card.pdf，4121A 现在市面上主要有两个 ...

昨晚查了一晚有个华为的双口万兆网卡才60-80不等，说是从服务器拆下来的
那玩意能买么，什么渠道买？

Lookpapa · 发表于 2024-3-17 12:32

日日夜夜发表于 2024-3-17 11:35
可以买啊，一般就是小黄鱼买吧，x520或者x540吧，反正除了光口/电口都是一样的，这一代是pcie2.0的，至少 ...

谢谢兄弟啊

Lookpapa · 发表于 2024-3-17 12:33

adslnet0519 发表于 2024-3-17 11:35
贵的是带原厂保修的，咸鱼捡拆机件就是了，x540和x520都行，光口卡还要额外算上光模块的钱

—— 来 ...

在看什么DAC AOC啥的
DAC会好些么

Lookpapa · 发表于 2024-3-17 13:39

雪影发表于 2024-3-17 12:44
6分42秒830G，折合每秒3G，这个就算是解码的带宽压力
至于转码，感觉转码速度低于网络带宽才对
2.5G的速度 ...

你说得对。
一号机转码都要1小时14分钟，约为每秒191MB，这个数字还是比2.5G的每秒320MB要小的。

换个思路，在二号机本地转码。
为了节省步骤，二号机直接交付把一号机剪辑好的素材交付到本地硬盘。
但这里有个问题就是源文件的传输渠道从本地交付变成网络交付，

那么源文件交付到时候就会产生830G的传输量，2.5G网络大概要48分钟。
而我一号机交付只要12分钟(M2硬盘交付)

Lookpapa · 发表于 2024-3-17 22:30

jie2000 发表于 2024-3-17 20:44
要不…尝试折腾一下雷电网桥？反正你两边都是intel的芯片

没听懂，啥是雷电网桥？

Lookpapa · 发表于 2024-3-17 22:51

jie2000 发表于 2024-3-17 20:44
要不…尝试折腾一下雷电网桥？反正你两边都是intel的芯片

查了一下，2主板的TYPE C都是USB 3.2 Gen 2x2 ，没有闪电标志，那我可以买一根TYPE C数据线互联么

Lookpapa · 发表于 2024-3-17 22:51

hippias 发表于 2024-3-17 22:09
刚想提这个，雷电20g轻轻松松

查了一下，2主板的TYPE C都是USB 3.2 Gen 2x2 ，没有闪电标志，那我可以买一根TYPE C数据线互联么

Lookpapa · 发表于 2024-3-17 22:54

dvd6 发表于 2024-3-17 21:08
可能因为缺少预读机制，虽然转码比网速慢，但如果用到一点才读一点就会多了些等待时间 ...

我放弃异地转码了。
在尝试一号机剪辑，二号机渲染转码。

然后发现二号机渲染时间是一号机的7~8倍，查了一下资源使用，才发现交付无损MOV用的是CUDA，
4090D和2080TI差距有这么大的吗

没钱加显卡了啊

		自动登录	找回密码
密码			立即注册

[硬件] 关于视频转码，我这是不是瓶颈在2.5G网卡要10gb网卡了