10万兆升级相关---拿到卡了，上机测试中

无字仓颉 · 发表于 2021-2-25 08:05

提示: 作者被禁止或删除内容自动屏蔽

Kryss · 发表于 2021-2-25 08:46

100GbE这玩意折腾起来不简单尤其是带上RDMA。专业做企业级存储的NetApp也只有高端型号用100GbE来自: iPhone客户端

无字仓颉 · 发表于 2021-2-25 08:57

提示: 作者被禁止或删除内容自动屏蔽

yuxiao · 发表于 2021-2-25 09:20

成本太高，收益不大，毕竟家用场景你也用不着10GB的吞吐量………
不如考虑两块10Gb网卡做绑定？

-- 傲娇地来自 Stage1未知客户端

无字仓颉 · 发表于 2021-2-25 09:32

提示: 作者被禁止或删除内容自动屏蔽

无字仓颉 · 发表于 2021-2-25 09:37

提示: 作者被禁止或删除内容自动屏蔽

无字仓颉 · 发表于 2021-3-4 21:03

提示: 作者被禁止或删除内容自动屏蔽

高卢鸡 · 发表于 2021-3-4 21:08

大佬有关注知乎的牙医吧，可以去他的群里问问，或者去不用黑群晖群也好（打广告：954341161）

开起 · 发表于 2021-3-4 21:08

期待结果

不过家用一般只能玩的起一对40/100GBE网卡，能支持的交换机都是天价，感觉这玩意搭着搭着就从NAS变成DAS（直连存储）了

—— 来自 OnePlus KB2000, Android 11上的 S1Next-鹅版 v2.4.4

无字仓颉 · 发表于 2021-3-4 21:11

提示: 作者被禁止或删除内容自动屏蔽

无字仓颉 · 发表于 2021-3-4 21:18

提示: 作者被禁止或删除内容自动屏蔽

adrftgyh · 发表于 2021-3-4 21:43

10万兆磁盘内部传输率成了瓶颈了吧，企业级上这么高传输率主要是解决多点访问的问题，单点访问要跑满10万兆似乎不容易。

无字仓颉 · 发表于 2021-3-4 21:55

提示: 作者被禁止或删除内容自动屏蔽

DeepFishing · 发表于 2021-3-4 22:51

100G是ib？家用这么玩代价确实太大了，其实要40G可以两台电脑雷电组网

—— 来自 Sony H8296, Android 10上的 S1Next-鹅版 v2.4.3.1

无字仓颉 · 发表于 2021-3-4 23:22

提示: 作者被禁止或删除内容自动屏蔽

blackeyed · 发表于 2021-3-4 23:23

我组的40G, 但是我不用unraid, 而是直接windows server

你要rdma的话, 你需要确定unraid是否支持rdma(我估计是不支持的), 或者你把网卡直通给windows server

windows使用rdma(win下叫roce), 必要条件: 服务器必须是windows server, 客户端必须是win workstation或者win enterprise

如果网卡是cx3(不带pro)的版本, 需要装完网卡驱动之后, 用powershell把roce版本设置成1.0, 不然无法使用roce

实测roce之后, 网络复制文件的时候, CPU负载少了一半以上, 没我预期效果好, 因为我预期效果是下降到0

无字仓颉 · 发表于 2021-3-4 23:25

提示: 作者被禁止或删除内容自动屏蔽

blackeyed · 发表于 2021-3-4 23:26

你不上100gbps的速度, 用cx4干嘛, 浪费钱…… cx3二手一张才两三百

40G交换机, 最便宜的二手三千块, 如果你使用的距离不超过五米, 可以用DAC线, 模块都不用买, 一根线五十块
也就是说现在组一套40G网络, 成本也就四千块

blackeyed · 发表于 2021-3-4 23:30

本帖最后由 blackeyed 于 2021-3-4 23:31 编辑

40G网络对比10G网络, 你别看速度只是提升了四倍…40G网络的随机读写速度提升了十倍以上

比如你的SSD的4K读写速度是20M/s, 你用1G网络测一下就知道了, 可能2M都没有, 40G网络基本可以达到你SSD应有的随机读写速度的九成以上

另外, 如果你只是为了提高连续读写速度的话(windows下的共享), 可以用smb3.0的属性, 它能自动捆绑多条带宽, 而且不是聚合, 也就是说不需要交换机支持, 你只是需要多拉几条网线多几个千兆网口

无字仓颉 · 发表于 2021-3-4 23:30

提示: 作者被禁止或删除内容自动屏蔽

无字仓颉 · 发表于 2021-3-4 23:42

提示: 作者被禁止或删除内容自动屏蔽

blackeyed · 发表于 2021-3-4 23:59

无字仓颉发表于 2021-3-4 23:42
unraid论坛有人用过roce了，connectx-4在unraid最新的6.9版本里也可以通过插件支持了，不过这两个一起用 ...

你的U确实悬, 我14核的U, 跑满3GB/s的传输的时候, 不开roce占用40%, 开了占用20%……你这2核……不知道会不会成为瓶颈

无字仓颉 · 发表于 2021-3-5 00:06

提示: 作者被禁止或删除内容自动屏蔽

blackeyed · 发表于 2021-3-5 00:14

无字仓颉发表于 2021-3-5 00:06
我现在写入xfs格式的单盘900多mbps，cpu占用80%
大不了换u，有点后悔选u的时候抠门了。 ...

文件服务器根本用不到那么高主频
E5洋垃圾实惠多了, 十几核板U加起来1000多块, 64条PCIE, 四内存通道, 可玩性就高多了
当然, 现在有更炸裂的amd epyc, 32核@2.4G才1800, 128条PCIE4.0, 烤机才80W功耗……只能用炸裂形容了

无字仓颉 · 发表于 2021-3-5 00:16

提示: 作者被禁止或删除内容自动屏蔽

blackeyed · 发表于 2021-3-5 00:18

无字仓颉发表于 2021-3-5 00:16
我unraid上还跑plex，plex的转码很吃主频，linus用的是9900k

转码不用老黄, 何必呢, 老黄的n卡破解下驱动, 可以同时转码10路1080p

无字仓颉 · 发表于 2021-3-5 00:22

提示: 作者被禁止或删除内容自动屏蔽

无字仓颉 · 发表于 2021-3-5 00:25

提示: 作者被禁止或删除内容自动屏蔽

oskneo · 发表于 2021-3-5 06:41

提示: 作者被禁止或删除内容自动屏蔽

oskneo · 发表于 2021-3-5 06:47

提示: 作者被禁止或删除内容自动屏蔽

yst234 · 发表于 2021-3-5 08:23

家用万兆网络指南 1 - 不如先来个最简单的100G网络
仅供参考

暗影翔 · 发表于 2021-3-5 09:25

oskneo 发表于 2021-3-5 06:41
samba随机读写这样不奇怪，直接上iscsi啊，即使1g的网络也有不错的随机读写

—— 来自 Sony XQ-AT52, An ...

前几天我用千兆网crystal mark测过iscsi和smb，smb领先很多。很奇怪的结果

blackeyed · 发表于 2021-3-5 13:21

oskneo 发表于 2021-3-5 06:41
samba随机读写这样不奇怪，直接上iscsi啊，即使1g的网络也有不错的随机读写

—— 来自 Sony XQ-AT52, An ...

这不是协议的问题, 是网络频率的问题, 老外有研究报告的, 我也是看了研究报告才恍然大悟
1g和ssd原生随机差距太大了, 你打开QQ聊天记录里放小图的那个文件夹就能直观感受到, 本地SSD读取每张图出来很快, 远程开那个盘慢如HDD

blackeyed · 发表于 2021-3-5 13:22

本帖最后由 blackeyed 于 2021-3-5 13:24 编辑

oskneo 发表于 2021-3-5 06:47
这是啥epyc啊？zen2的？
两个月前便宜入了1950x。
esxi和unraid搞不定同时嵌套虚拟和直通，

2683v3

1950x我也有, 最早我就是用1950x做esxi的, 但是直通有各种问题, 不如intel的e5+x99, 我就放弃1950x的直通了
到现在还闲置着, 着两天准备卖掉去

现在二手一套e5也太便宜了, 本来就是做服务器的, 比民用平台更兼容esxi也合情合理
顺便我的e5们也打算卖掉了, 准备全面转epyc了 64核 128条pcie, 8通道一台机器搞定所有需求

oskneo · 发表于 2021-3-5 13:47

提示: 作者被禁止或删除内容自动屏蔽

oskneo · 发表于 2021-3-5 13:53

提示: 作者被禁止或删除内容自动屏蔽

blackeyed · 发表于 2021-3-5 14:01

oskneo 发表于 2021-3-5 13:47
就是问那epyc是什么型号啊。这么低功耗是zen2的吗？待机功耗呢？
而且转epyc的不会有各种问题吗？
别的不 ...

我前面是的是7D12, 是dell的定制zen2, epyc本来就是服务器用的, esxi肯定也比民用支持的好吧
至于家用和服务器兼顾, 这没法说, 本来就要看具体需求, 比如有的人要打游戏, 那主频就要高, 主频高的服务器U可不便宜……而且高也高不到哪里去, 核多频高的功耗会爆炸

对了, 7D12因为是oem的, 所以挑主板, 挑内存, 也不好买, 出货少, 要的人多, 闲鱼已经卖完了

blackeyed · 发表于 2021-3-5 14:04

oskneo 发表于 2021-3-5 13:53
不过偶现在还是在准备上万兆而已，一下子10万兆太跳跃了。
首先你们硬盘怎样超过1万兆？
上m2的raid0做缓 ...

一万兆=10000mbps=1250MB/s
不用raid0, 就现在随便一块nvme盘的上限速度都超过了啊
而且我前面说了, 万兆并不能解决随机读写问题, 对随机读写要求高的话起步需要40G, 不然你的nvme盘的随机读写性能就在浪费就是了

而且更关键的是, 现在万兆和四万兆(洋垃圾)成本没啥区别啊, 如果你万兆要上电口价格就更贵了

oskneo · 发表于 2021-3-5 14:39

提示: 作者被禁止或删除内容自动屏蔽

blackeyed · 发表于 2021-3-5 14:52

本帖最后由 blackeyed 于 2021-3-5 14:54 编辑

oskneo 发表于 2021-3-5 14:39
偶游戏主力是主机，pc也就很少的时候玩玩模拟器而已。
而且对60桢以上没兴趣。
不过由于之前一直用着z77 ...

我不知道你说的万兆软路由是只当路由, 还是要同时当交换机
如果你要当交换机的话, 劝你放弃, 这完全就是我当初做过的一样的事情, x399当万兆软路由+万兆交换
万兆软交换的性能差的不是一丁半点……完全不能用, 和U没关系, 是软交换本身就不行

我的文件服务器策略是
nvme固态盘当主用盘, HDD当同步热备份盘
我一直不理解固态盘给hdd当缓存的意义是啥, 如果你是128G这种小容量, 当当缓存就算了, 如果你是大容量盘, 那完全应该当主盘用, HDD同步备份固态盘的内容, 这样等于nvme固态盘就是个缓存盘, 只不过它不仅限于缓存那些你刚调用过的文件, 而是你放在固态盘里的一切文件都在缓存, 可以自由删减增加需要高速调用的东西

		自动登录	找回密码
密码			立即注册

无字仓颉无字仓颉当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2017-9-5 头像被屏蔽	发表于 2021-2-25 08:05 \| 显示全部楼层 \|阅读模式提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

无字仓颉无字仓颉当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2017-9-5 头像被屏蔽	楼主\| 发表于 2021-2-25 08:57 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

无字仓颉无字仓颉当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2017-9-5 头像被屏蔽	楼主\| 发表于 2021-2-25 09:32 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

无字仓颉无字仓颉当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2017-9-5 头像被屏蔽	楼主\| 发表于 2021-2-25 09:37 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

无字仓颉无字仓颉当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2017-9-5 头像被屏蔽	楼主\| 发表于 2021-3-4 21:03 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

无字仓颉无字仓颉当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2017-9-5 头像被屏蔽	楼主\| 发表于 2021-3-4 21:11 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

无字仓颉无字仓颉当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2017-9-5 头像被屏蔽	楼主\| 发表于 2021-3-4 21:18 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

无字仓颉无字仓颉当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2017-9-5 头像被屏蔽	楼主\| 发表于 2021-3-4 21:55 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

无字仓颉无字仓颉当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2017-9-5 头像被屏蔽	楼主\| 发表于 2021-3-4 23:22 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

无字仓颉无字仓颉当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2017-9-5 头像被屏蔽	楼主\| 发表于 2021-3-4 23:25 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

无字仓颉无字仓颉当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2017-9-5 头像被屏蔽	楼主\| 发表于 2021-3-4 23:30 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

无字仓颉无字仓颉当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2017-9-5 头像被屏蔽	楼主\| 发表于 2021-3-4 23:42 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

无字仓颉无字仓颉当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2017-9-5 头像被屏蔽	楼主\| 发表于 2021-3-5 00:06 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

无字仓颉无字仓颉当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2017-9-5 头像被屏蔽	楼主\| 发表于 2021-3-5 00:16 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

无字仓颉无字仓颉当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2017-9-5 头像被屏蔽	楼主\| 发表于 2021-3-5 00:22 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

无字仓颉无字仓颉当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2017-9-5 头像被屏蔽	楼主\| 发表于 2021-3-5 00:25 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

oskneo oskneo 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2019-1-4 头像被屏蔽	发表于 2021-3-5 06:41 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

oskneo oskneo 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2019-1-4 头像被屏蔽	发表于 2021-3-5 06:47 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

oskneo oskneo 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2019-1-4 头像被屏蔽	发表于 2021-3-5 13:47 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

oskneo oskneo 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2019-1-4 头像被屏蔽	发表于 2021-3-5 13:53 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

[硬件] 10万兆升级相关---拿到卡了，上机测试中

oskneo oskneo 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2019-1-4 头像被屏蔽	发表于 2021-3-5 14:39 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报