不如考虑两块10Gb网卡做绑定？
-- 傲娇地来自 Stage1未知客户端 大佬有关注知乎的牙医吧，可以去他的群里问问，或者去不用黑群晖群也好（打广告：954341161） 期待结果
不过家用一般只能玩的起一对40/100GBE网卡，能支持的交换机都是天价，感觉这玩意搭着搭着就从NAS变成DAS（直连存储）了
—— 来自 OnePlus KB2000, Android 11上的 S1Next-鹅版 v2.4.4 10万兆磁盘内部传输率成了瓶颈了吧，企业级上这么高传输率主要是解决多点访问的问题，单点访问要跑满10万兆似乎不容易。 100G是ib？家用这么玩代价确实太大了，其实要40G可以两台电脑雷电组网
—— 来自 Sony H8296, Android 10上的 S1Next-鹅版 v2.4.3.1 我组的40G, 但是我不用unraid, 而是直接windows server
你要rdma的话, 你需要确定unraid是否支持rdma(我估计是不支持的), 或者你把网卡直通给windows server
windows使用rdma(win下叫roce), 必要条件: 服务器必须是windows server, 客户端必须是win workstation或者win enterprise
如果网卡是cx3(不带pro)的版本, 需要装完网卡驱动之后, 用powershell把roce版本设置成1.0, 不然无法使用roce
实测roce之后, 网络复制文件的时候, CPU负载少了一半以上, 没我预期效果好, 因为我预期效果是下降到0 你不上100gbps的速度, 用cx4干嘛, 浪费钱…… cx3二手一张才两三百
40G交换机, 最便宜的二手三千块, 如果你使用的距离不超过五米, 可以用DAC线, 模块都不用买, 一根线五十块
也就是说现在组一套40G网络, 成本也就四千块 本帖最后由 blackeyed 于 2021-3-4 23:31 编辑
40G网络对比10G网络, 你别看速度只是提升了四倍…40G网络的随机读写速度提升了十倍以上
比如你的SSD的4K读写速度是20M/s, 你用1G网络测一下就知道了, 可能2M都没有, 40G网络基本可以达到你SSD应有的随机读写速度的九成以上
另外, 如果你只是为了提高连续读写速度的话(windows下的共享), 可以用smb3.0的属性, 它能自动捆绑多条带宽, 而且不是聚合, 也就是说不需要交换机支持, 你只是需要多拉几条网线多几个千兆网口 无字仓颉 发表于 2021-3-4 23:42
unraid论坛有人用过roce了，connectx-4在unraid最新的6.9版本里也可以通过插件支持了，不过这两个一起用 ...
你的U确实悬, 我14核的U, 跑满3GB/s的传输的时候, 不开roce占用40%, 开了占用20%……你这2核……不知道会不会成为瓶颈 无字仓颉 发表于 2021-3-5 00:06
我现在写入xfs格式的单盘900多mbps，cpu占用80%
大不了换u，有点后悔选u的时候抠门了。 ...
文件服务器根本用不到那么高主频
E5洋垃圾实惠多了, 十几核板U加起来1000多块, 64条PCIE, 四内存通道, 可玩性就高多了
当然, 现在有更炸裂的amd epyc, 32核@2.4G才1800, 128条PCIE4.0, 烤机才80W功耗……只能用炸裂形容了 无字仓颉 发表于 2021-3-5 00:16
我unraid上还跑plex，plex的转码很吃主频，linus用的是9900k
转码不用老黄, 何必呢, 老黄的n卡破解下驱动, 可以同时转码10路1080p blackeyed 发表于 2021-3-4 23:30
40G网络对比10G网络, 你别看速度只是提升了四倍…40G网络的随机读写速度提升了十倍以上
比如你的SSD的4K读 ...
samba随机读写这样不奇怪，直接上iscsi啊，即使1g的网络也有不错的随机读写
—— 来自 Sony XQ-AT52, Android 10上的 S1Next-鹅版 v2.4.4 blackeyed 发表于 2021-3-5 00:14
文件服务器根本用不到那么高主频
E5洋垃圾实惠多了, 十几核板U加起来1000多块, 64条PCIE, 四内存通道, 可 ...
这是啥epyc啊？zen2的？
两个月前便宜入了1950x。
esxi和unraid搞不定同时嵌套虚拟和直通，
加上unraid没读取缓存性能实在糟糕，已经想放弃了。
准备移动到低功耗x570平台，pcie线数再高，
只能win10的话也没意义。
—— 来自 Sony XQ-AT52, Android 10上的 S1Next-鹅版 v2.4.4 家用万兆网络指南 1 - 不如先来个最简单的100G网络
仅供参考 oskneo 发表于 2021-3-5 06:41
samba随机读写这样不奇怪，直接上iscsi啊，即使1g的网络也有不错的随机读写
—— 来自 Sony XQ-AT52, An ...
前几天我用千兆网crystal mark测过iscsi和smb，smb领先很多。很奇怪的结果 oskneo 发表于 2021-3-5 06:41
samba随机读写这样不奇怪，直接上iscsi啊，即使1g的网络也有不错的随机读写
—— 来自 Sony XQ-AT52, An ...
这不是协议的问题, 是网络频率的问题, 老外有研究报告的, 我也是看了研究报告才恍然大悟
1g和ssd原生随机差距太大了, 你打开QQ聊天记录里放小图的那个文件夹就能直观感受到, 本地SSD读取每张图出来很快, 远程开那个盘慢如HDD
本帖最后由 blackeyed 于 2021-3-5 13:24 编辑
oskneo 发表于 2021-3-5 06:47
这是啥epyc啊？zen2的？
两个月前便宜入了1950x。
esxi和unraid搞不定同时嵌套虚拟和直通，
2683v3
1950x我也有, 最早我就是用1950x做esxi的, 但是直通有各种问题, 不如intel的e5+x99, 我就放弃1950x的直通了
到现在还闲置着, 着两天准备卖掉去
现在二手一套e5也太便宜了, 本来就是做服务器的, 比民用平台更兼容esxi也合情合理
顺便我的e5们也打算卖掉了, 准备全面转epyc了 64核 128条pcie, 8通道 一台机器搞定所有需求
本帖最后由 oskneo 于 2021-3-5 13:49 编辑
blackeyed 发表于 2021-3-5 13:22
2683v3
1950x我也有, 最早我就是用1950x做esxi的, 但是直通有各种问题, 不如intel的e5+x99, 我就放弃1950 ...
就是问那epyc是什么型号啊。这么低功耗是zen2的吗？待机功耗呢？
而且转epyc的不会有各种问题吗？
别的不知道，起码win server的嵌套虚拟现在只支持intel。
而且不能只看价格啊，还有很多要素，如功耗，是否atx的之类。
现在能兼容家用服务器和主力机的最好硬件究竟是什么呢。
—— 来自 Sony XQ-AT52, Android 10上的 S1Next-鹅版 v2.4.4 blackeyed 发表于 2021-3-5 13:21
这不是协议的问题, 是网络频率的问题, 老外有研究报告的, 我也是看了研究报告才恍然大悟
1g和ssd原生随机 ...
不过偶现在还是在准备上万兆而已，一下子10万兆太跳跃了。
首先你们硬盘怎样超过1万兆？
上m2的raid0做缓存吗？
—— 来自 Sony XQ-AT52, Android 10上的 S1Next-鹅版 v2.4.4 oskneo 发表于 2021-3-5 13:47
就是问那epyc是什么型号啊。这么低功耗是zen2的吗？待机功耗呢？
而且转epyc的不会有各种问题吗？
别的不 ...
我前面是的是7D12, 是dell的定制zen2, epyc本来就是服务器用的, esxi肯定也比民用支持的好吧
至于家用和服务器兼顾, 这没法说, 本来就要看具体需求, 比如有的人要打游戏, 那主频就要高, 主频高的服务器U可不便宜……而且高也高不到哪里去, 核多频高的功耗会爆炸
对了, 7D12因为是oem的, 所以挑主板, 挑内存, 也不好买, 出货少, 要的人多, 闲鱼已经卖完了
oskneo 发表于 2021-3-5 13:53
不过偶现在还是在准备上万兆而已，一下子10万兆太跳跃了。
首先你们硬盘怎样超过1万兆？
上m2的raid0做缓 ...
一万兆=10000mbps=1250MB/s
不用raid0, 就现在随便一块nvme盘的上限速度都超过了啊
而且我前面说了, 万兆并不能解决随机读写问题, 对随机读写要求高的话起步需要40G, 不然你的nvme盘的随机读写性能就在浪费就是了
而且更关键的是, 现在万兆和四万兆(洋垃圾)成本没啥区别啊, 如果你万兆要上电口价格就更贵了 blackeyed 发表于 2021-3-5 14:01
我前面是的是7D12, 是dell的定制zen2, epyc本来就是服务器用的, esxi肯定也比民用支持的好吧
至于家用和 ...
偶游戏主力是主机，pc也就很少的时候玩玩模拟器而已。
而且对60桢以上没兴趣。
不过由于之前一直用着z77这10年前平台，wiiu模拟器和ps3模拟器没试过，理论上只要avx2能行，60桢不需要高主频。
现在为了功耗，刚买了4650ge和x570，还要两周才到。
现在用着x399平台，本来为了开万兆软路由，raid卡，一个独显，一个ax200才选择pcie更多的x399。
发现稳定只能win10后，顿时觉得没意义了。
偶的数据都放在机械硬盘，不上缓存的话实际连前兆都难超。
ssd只是做系统的。
你们同时能加强大文件和小文件的缓存策略是什么？
unraid对随机速度的加成明显很糟糕。
—— 来自 HUAWEI HDL-W09, Android 8.0.0上的 S1Next-鹅版 v2.4.4 本帖最后由 blackeyed 于 2021-3-5 14:54 编辑
oskneo 发表于 2021-3-5 14:39
偶游戏主力是主机，pc也就很少的时候玩玩模拟器而已。
而且对60桢以上没兴趣。
不过由于之前一直用着z77 ...
我不知道你说的万兆软路由是只当路由, 还是要同时当交换机
如果你要当交换机的话, 劝你放弃, 这完全就是我当初做过的一样的事情, x399当万兆软路由+万兆交换
万兆软交换的性能差的不是一丁半点……完全不能用, 和U没关系, 是软交换本身就不行
我的文件服务器策略是
nvme固态盘当主用盘, HDD当同步热备份盘
我一直不理解固态盘给hdd当缓存的意义是啥, 如果你是128G这种小容量, 当当缓存就算了, 如果你是大容量盘, 那完全应该当主盘用, HDD同步备份固态盘的内容, 这样等于nvme固态盘就是个缓存盘, 只不过它不仅限于缓存那些你刚调用过的文件, 而是你放在固态盘里的一切文件都在缓存, 可以自由删减增加需要高速调用的东西
页:
[1]
2