家庭万兆踩坑记录

Processed

一切故事要从19年家庭网络全面升级万兆开始说起

升级完万兆，首先一个最严肃的问题是，我到底要拿这个万兆来干什么。其实日常的文件存取，看视频等常见操作，万兆能做的千兆都能做，唯一一个能对网卡提出更高需求的，就是跑iscsi。于是我淘了两块二手的2T SSD，放进NAS里面组raid0给主机做游戏盘——但就是这个时候我发现了一个严重问题，这块4T的iscsi盘，读取速度能达到1000MB妥妥的，但不论怎么测试，写入速度只有100MB左右，也就是千兆级别。

然后我就进行了排查，确定下来和网卡无关，不论哪张万兆网卡插上去都这个鸟样，而换出来的万兆网卡在其他设备上就生龙活虎毫无问题，然后我就怀疑是不是这个14年装的NAS系统是不是有什么地方被改坏了，于是干脆的重装了系统重做了服务，除了几个基本服务之外，其他的业务我都放在docker上面跑了。

然而并没有什么卵用，问题依旧，当时工作比较忙也没法花很多功夫一点点排查，想想又不是不能用（游戏盘读取高就行了，写入低无非是装游戏久一点，何况速度已经有机械硬盘水准了也不差），就这么放着了。

然而上周，两块硬盘中的一块突然掉盘挂掉了，本着来都来了的想法，我花6000巨资购入了一块intel的15T企业盘来继续做iscsi。配置很简单，主机也很快连上了硬盘，不过之前的游戏盘是突然暴毙，我得把几个常用游戏装回去。在steam上挂上下载后，我就出门忙别的事了。但当我晚上回来验收成果顺便想环一个的时候，我发现steam连第一个游戏都没装好，这块iscsi盘，在下载开始后可能不到15分钟时间内，就完全无法写入了。

这问题就大条了。首先排除硬盘本身的问题之后，视角又回到了久拖未决的网络问题上。上一轮的排查确定了这个肯定是出在软件层面上的问题。这次系统重建后绝大部分的服务都是在docker内的，理论上不可能对系统层级的硬件造成什么影响，何况即使有影响我现在跑的服务不过30来个，一个个关就行了。然后经过仅一轮的排查，罪魁祸首就被找到了，是我那个挂了1000多个种子的qbittorrent。

确定了问题就好办了，首先我看了网上关于qbittorrent和万兆网卡的相关内容，发现确实有人提到qbittorrent会造成万兆网卡的工作不正常，不过我这种单边掉速的情况似乎并没有人出现过。然后BT又不能不下，换软件成为必然。

我首先用的是rtorrent，因为qbittorrent是自带RSS管理和种子搜索功能的，rtorrent也行。挂上6，7条RSS共计100多个种子之后，我发现我不知道怎么改docker版的rtorrent的下载存储位置，即使参照了文档修改了配置文件之后也不能如我的预想，这和我的使用习惯不符。rtorrent是不能用了，我又改用了deluge，为了弥补它没有RSS功能的问题，我还搞了一个flexget。但100多个种子下载完之后，网卡掉速的情况又双出现了。

继续放狗去搜，得到一个关键线索——“libtorrent因为UDP发包相关的问题，和万兆网卡的驱动是存在不兼容的”——得，qbittorrent，rtorrent，deluge全都是基于libtorrent的，统统枪毙。我剩下的选择只有aria2和transmission了，考虑到aria2我日常更多是拿来下115，那么留给我的唯一选择就是transmission了。

经历了几个小时的transmission安装，RSS订阅重建，外挂flood webui之后，新的BT下载平台算是跑起来了，目前跑了24小时还没有出现网卡掉速的情况，姑且认为transmission经过了考验吧。

现在新的问题来了，泥潭有没有人知道docker版的flood怎么开启HTTPS的

Jet.Black

理解不了，多了这么多设备，一点都不环保

Realplayer

万兆交换机走光走电？就算电口的8口交换机也要五六百

FujiZ

证书配在Nginx上，走代理

—— 来自 realme RMX3366, Android 12上的 S1Next-鹅版 v2.5.2-play

laotoutou

先行者。

我是没想到万兆有啥用。传流支持的最高码率也才260mb。

系统杀手

lz这个为了万兆而万兆，为了iscsi而iscsi折腾的风气不可取。

iscsi再快也不如游戏pc的本地ssd。

Processed

Realplayer 发表于 2022-3-25 09:38
万兆交换机走光走电？就算电口的8口交换机也要五六百

我家里的是48口千兆POE+4口万兆光

一点也不贵，机房淘汰货，750一个

Realplayer

算了编辑掉

oskneo

Processed 发表于 2022-3-25 10:26
我家里的是48口千兆POE+4口万兆光

一点也不贵，机房淘汰货，750一个

这种功耗不少，噪音不小啊，家里没法放

—— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.2

Processed

oskneo 发表于 2022-3-25 11:56
这种功耗不少，噪音不小啊，家里没法放

—— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.2 ...

功耗可能高，但是噪音真没有

我现在这个的噪音比我之前的一个网件的家用交换机还轻

费老师

vr啊

cybernetics31

虽说有钱咋玩都行，iscsi垃圾佬都是用辣鸡sas 盘跑游戏用的。你这还不如直接大容量ssd装主力机上。

wifi王道

差生文具多

Processed

cybernetics31 发表于 2022-3-25 12:34
虽说有钱咋玩都行，iscsi垃圾佬都是用辣鸡sas 盘跑游戏用的。你这还不如直接大容量ssd装主力机上。 ...

15t的SSD装一个电脑上，再有钱也不能这么造啊

EraserKing

nginx反代啊
对于http的我都这么做

candy好像也可以，还简单点

liwangli1983

2.5g对我就够用了，毕竟大容量存储还是靠硬盘，只是现在没有好的2.5g交换机，tplink那个chh上说用用就死掉的例子少

cybernetics31

Processed 发表于 2022-3-25 14:31
15t的SSD装一个电脑上，再有钱也不能这么造啊

15t的ssd放nas，被万兆速度限制不是更瓶刭吗

oskneo

拿nuc测了一下iscsi的写入，
看不出问题，不知道lz是怎样调的。
另外偶现在用威联通的m408，的确挺贵的。
啥时候把无线升wifi7和笔记本升10g网卡就能用tp的便宜8口全万兆了

—— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.2

Processed

cybernetics31 发表于 2022-3-25 14:53
15t的ssd放nas，被万兆速度限制不是更瓶刭吗

再瓶颈那也是上下行1000MB的读写啊，现在除了跑测试什么应用能用上这么大的带宽

一般的家用场景即使是sata3级别的读写也能满足需求了，这才万兆的一半速度

Processed

oskneo 发表于 2022-3-25 14:54
拿nuc测了一下iscsi的写入，
看不出问题，不知道lz是怎样调的。
另外偶现在用威联通的m408，的确挺贵的。

我的技术还没有高到可以对iscsi进行性能调优的水平，目前我所能做的就是不要开libtorrent系的BT软件保证万兆正常运行而已

oskneo

Processed 发表于 2022-3-25 14:55
再瓶颈那也是上下行1000MB的读写啊，现在除了跑测试什么应用能用上这么大的带宽

一般的家用场景即使是sat ...

上raid啊，偶上了8盘raid6后，测速读取速度有400到600m。
不过600m感觉pcie3.0 x1都可上，因为之前测过上万兆网卡速度有5.5g，空出来的pcie还能上显卡。
。。。。
没看到lz直接用ssd玩bt，当偶啥也没说过了。
偶最多用ssd给hdd做一下缓存。


—— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.2

Processed

oskneo 发表于 2022-3-25 15:05
上raid啊，偶上了8盘raid6后，测速读取速度有400到600m。
不过600m感觉pcie3.0 x1都可上，因为之前测过上 ...

那不是的，我的BT盘只是一块6T的红盘

15T的这块SSD是用来分给家里的各台电脑做游戏盘的，毕竟PCIE4.0*4的带宽，按理论值算能跑满7，8个万兆通道了

oskneo

Processed 发表于 2022-3-25 15:07
那不是的，我的BT盘只是一块6T的红盘

15T的这块SSD是用来分给家里的各台电脑做游戏盘的，毕竟PCIE4.0*4的 ...

你的意思是bt对盘a操作会影响网卡对盘b的速度吗，这的确奇怪。偶通常直接用utorrent。


偶现在主要烦应该上啥网卡能sriov加rdma给虚拟机提升smb或iscsi的4k速度。玩游戏的话觉得还是4k速度更重要

—— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.2

Processed

oskneo 发表于 2022-3-25 15:11
你的意思是bt对盘a操作会影响网卡对盘b的速度吗，这的确奇怪。偶通常直接用utorrent。

对就是这个意思

综合网络上的一些案例，我猜测应该是libtorrent在连接的过程中收发了大量的UDP包导致了网卡拥塞，才导致的网卡降级，进而导致了我写入iscsi盘的时候出现问题。这个逻辑链条太长了以至于很长一段时间我都没往这个方向想过

oskneo

Processed 发表于 2022-3-25 15:07
那不是的，我的BT盘只是一块6T的红盘

15T的这块SSD是用来分给家里的各台电脑做游戏盘的，毕竟PCIE4.0*4的 ...

pcie4x4的ssd通常宣传有7.9g速度。
应该继续升级，上100g网卡。
之前听s1某人说上了40g网络后4k会大幅提升，
不过结果一年实在找不到家用40g交换机只能放弃

—— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.2

Processed

oskneo 发表于 2022-3-25 15:20
pcie4x4的ssd通常宣传有7.9g速度。
应该继续升级，上100g网卡。
之前听s1某人说上了40g网络后4k会大幅提 ...

没有必要

从10G升级到40G再到100G是最典型的一分钱一分货一毛钱两分货一元钱三分货，性价比太低了。至少就我这3年的使用体验下，即使是残废状态的万兆用于一般游戏也够用了，我又不是拿着秒表玩游戏

尼特geek

40G光交换那模块可不便宜，要不咬咬牙直接100G一步到位？二十年都不用升级了。

oskneo

尼特geek 发表于 2022-3-25 15:32
40G光交换那模块可不便宜，要不咬咬牙直接100G一步到位？二十年都不用升级了。 ...

40g的模块某鱼上好像才几十元，网卡也就200，当然，功能上应该不太好。
不上交换机直连的情况下实际上也不是完全无法考虑。
或是买多几个网卡在nas让nas自己变软交换机。

—— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.2

shihomasturi

10g都超前了还40g，我有点好奇到底4k能提升多少？毕竟现在sata3.0和nvme的盘之间加载速度差别可是很小的。

小野賢章

我是为了在两个 NAS 之间同步数据所以上的万兆，不过我不管怎么调现在都只能跑到 7G 左右

Processed

小野賢章 发表于 2022-3-25 16:43
我是为了在两个 NAS 之间同步数据所以上的万兆，不过我不管怎么调现在都只能跑到 7G 左右 ...

这种我建议你检查一下线

如果不是线的问题的话那很有可能是撞SMB协议的性能极限了

oskneo

shihomasturi 发表于 2022-3-25 16:29
10g都超前了还40g，我有点好奇到底4k能提升多少？毕竟现在sata3.0和nvme的盘之间加载速度差别可是很小的。 ...

不知道，具体看这贴
https://bbs.saraba1st.com/2b/thread-1989669-0-1.html
其实偶是怀疑是40g网卡大多自带了rdma，
40g交换机也大多支持dcb吧，
然后装上两个windows server自动开启rdma的结果。
10g网卡起码一半没rdma，10g交换机特别是家用交换机也完全不支持。
现在偶测了一下，偶的ssd原生4k速度是50m，100m。
通过smb测是10m，5m
上primecache测smb是20m，10m。
不知道rdma能上多少呢。


—— 来自 Sony XQ-AT52, Android 10上的 S1Next-鹅版 v2.5.2-play

奈落的孤火花

要不试试qb-设置-连接里面把连接协议改成只有TCP，设置-高级-混合模式策略改成优先使用TCP？
又或者把qb升到最新版，最新版我记得下载的时候可以选择libtorrent2.0，具体我不太清楚怎么弄，我还是用的4.3.9（旧版都是1.X），不知道有没有修复万兆网络兼容性问题
transmission网上普遍说连接性比qb差很多。所以我一直不喜欢用