求教一下家用服务器ALL IN ONE用x99平台组建

oskneo · 发表于 2022-3-20 00:59

本帖最后由 oskneo 于 2022-5-2 18:27 编辑

之前的全失败了，b550平台虽然还是成功acs和sriov了，但基本上全功能的就那么一个pcie口，别的不是被显卡霸占（apu无法开启acs），就是都是连pch的，一样无法直通和acs。
索性直接上服务器平台，之前一直没找到省电的服务器平台，w480加w1250，1350不肯定能开，而且pcie lane太少。
最终看中e5 2618l v4或2630l v4，而且便宜不少。
想问一下，这两个是匹配x99和c612平台吗？这两个平台有什么区别？
随便找了一下有pcie x8槽4个以上的x99-ws，支持ecc不错，支持rdimm不错，但支持cpu列表没2618只有2630。不过这板子过了这么久居然还没二手1000以上，不知道有没更好的选择。
内存的话是rdimm更加便宜吧。

原村小和和 · 发表于 2022-3-20 04:33

workstation

—— 来自 OnePlus LE2100, Android 12上的 S1Next-鹅版 v2.5.2

原村小和和 · 发表于 2022-3-20 04:34

vmware woekstation可以配置万兆网卡吧，虚拟机配置文件里把网卡类型改为vmxnet3试试？

—— 来自 OnePlus LE2100, Android 12上的 S1Next-鹅版 v2.5.2

oskneo · 发表于 2022-3-20 11:50

vmxnet3好像是给esxi用的？
不过即使行，应该也解决不了rdma的问题，除非直通实际网卡。
话说那虚拟交换机只要跟host共享，由vm到host的速度就会大降，
速度只有30%都不奇怪。但如果vm独占这网口，然后和host独占的网口用实体线链接的话速度就不会降。
各位是怎样解决这问题的？

还有主楼说的问题，现在已经解决了一半。
现在装了windows server insider，不同于原版2022，这个版本完全基于win11，试了一下gpu pv，成功了。
不过这个bug不少，右键开始按键直接白一下啥也不出来，而且最重要的，好像只能用到9月份，通常server大更新多少来一次。
怕像win10那样收着不放，win 10 21h2的实际版本号在insider中实际已经是两年前的

—— 来自 Sony XQ-AT52, Android 10上的 S1Next-鹅版 v2.5.2-play

lonelycat · 发表于 2022-3-20 15:58

要性能可以考虑用NFS吗？
NFS效率应该比SMB好一点。
不如买几块大容量硬盘倒腾一下数据重新安装盘阵，大容量盘后面还可以作为冷备份空间用。

oskneo · 发表于 2022-3-20 18:11

本帖最后由 oskneo 于 2022-3-20 18:14 编辑

lonelycat 发表于 2022-3-20 15:58
要性能可以考虑用NFS吗？
NFS效率应该比SMB好一点。
不如买几块大容量硬盘倒腾一下数据重新安装盘阵，大容 ...

nfs会开，webdav会开，iscsi也会开。
不过旧程序大多直接读网络映射盘的，不行的就放iscsi里。
win10作为客户端的话能直接用nfs做映射盘吗

—— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.2

lonelycat · 发表于 2022-3-21 18:09

oskneo 发表于 2022-3-20 18:11
nfs会开，webdav会开，iscsi也会开。
不过旧程序大多直接读网络映射盘的，不行的就放iscsi里。
win10作为 ...

可以 win10可选功能里面有NFS客户端

lhw369 · 发表于 2022-3-21 18:42

lonelycat 发表于 2022-3-21 18:09
可以 win10可选功能里面有NFS客户端

win10的客户端我记得不支持UTF-8

—— 来自 HUAWEI LIO-AN00, Android 10上的 S1Next-鹅版 v2.5.2

oskneo · 发表于 2022-3-22 15:57

本帖最后由 oskneo 于 2022-3-22 16:03 编辑

感觉要放弃了，昨天搞了一天，先不说rdma，连sriov都搞不出来。
现在用的网卡是cx342a xcgn。不论驱动还是固件乃至固件设定都搞了。
powershell可看的状态里，除了iovsupportedreason是空的外，其他都正常。
但到最后还是搞不出virtual function就是虚拟机里始终没出现connect3网卡。事件查看器里看到过236和12589，都是写无法分配虚拟功能。
网上说搞vmq和rss的设定，不过看他们是搞teaming几个口才这问题。
偶才开通1个口，把vmq和rss关了都不行。
之前搞x550的sriov记得很简单，固件驱动全没搞，直接hyperv启动就速度从4g升到5g多，不过那时vm用的是lede来测试，没看lede里网卡的名字。
不过x550不支持rdma。现在发现cx342，cx341，cx311，312这批非常坑，实际支持啥还要看下面的型号如xcgn，xcat啥。
有的是connect3pro支持roce v2，有些甚至v1都不支持，支持roe漏了个c，全网查都不知道是啥。
反正现在不知道是server2022的问题还是网卡，如果是网卡的话求推荐网卡。
咸鱼卖的这些大多都写支持sriov和rdma，但实际。。。

lucifer6e · 发表于 2022-3-23 08:34

Mark一下，学习学习
VF出不来有可能是虚拟机系统的问题，我用Intel x722的SR-IOV，在Windows10 Guest下就出不来VF，改成Server 2022的Guest就出来了。不过不知道Nvidia的网卡是不是也这样

至于RDMA，Mellanox的RoCEv2要交换机支持，而Intel的iWarp就不需要，性能嘛可能要差一点，按我自己测试：10GbE网卡x722，iWarp，WinServer2022的Host，SMB共享给WinServer 2022的Guest，SR-IOV+RDMA，RDMA连接传输速度在850MB/s左右，而TCP连接就只有500MB/s，CPU占用到没见少，RDMA跟TCP差不多，可能是iWarp的锅

macos · 发表于 2022-3-23 08:45

sriov不是螃蟹都能启动吗，要求并不高啊

oskneo · 发表于 2022-3-23 16:56

本帖最后由 oskneo 于 2022-3-23 17:57 编辑

lucifer6e 发表于 2022-3-23 08:34
Mark一下，学习学习
VF出不来有可能是虚拟机系统的问题，我用Intel x722的SR-IOV，在Windows10 Guest下就出 ...

想问一下4k速度如何。
之前看那rdma速度测试，貌似跟不用的时候性能相差最大的是小文件同时读取和写入的时候，不知道用什么软件测的呢。
还有guest联的smb服务器是同一个主机上的？还是用网线联的另一台主机？
rdma roce要交换机支持，但如果是同一台机里host跟guest连的话不知道rdma是否成立，是否需要交换机。
原来x722有rdma啊，之前看别人说英特尔要到800系列才有的。
x722找了一下，貌似pcie的国内很少货？
试了一下server2022做guest，很不幸还是做不成vf。

—— 来自 Sony XQ-AT52, Android 10上的 S1Next-鹅版 v2.5.2-play

oskneo · 发表于 2022-3-23 19:40

现在感觉cx3的网卡好像就没人成功在win server开过sriov。cx4的如mcx4411，4421在某鱼问了一下，也有些老板说不支持。难道这是ocp版的问题吗，ocp版的mlx网卡都无法支持sriov？

—— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.2

oskneo · 发表于 2022-3-24 19:05

lucifer6e 发表于 2022-3-23 08:34
Mark一下，学习学习
VF出不来有可能是虚拟机系统的问题，我用Intel x722的SR-IOV，在Windows10 Guest下就出 ...

买了张t520-cr，因为发现好像即使是cx4都明确写着做sriov的时候无法在主机开rdma，
那就放弃roce，试试iwarp。
今天试了在nuc上了primocache（因为nuc上的sata盘，最高600m速度，因为nvmc口被万兆网卡占了），
然后smb从主机nas的ssd盘传过来在没rdma情况下是有700到800m速度。
网卡是x520和cx342

—— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.2

lucifer6e · 发表于 2022-3-26 15:03

我是同一台机器，Intel的手册里写了支持给VM开RDMA（iWarp），前提VM必须开启SR-IOV和VMQ
虚拟机里Intel的VF驱动装好以后，开启Hyper-V网卡和VF网卡驱动里的RDMA选项就行了
从VM里拷贝主机上SMB共享的文件，看VM的任务管理器显示没有网络流量
网卡x722是主板集成的，超微X11SDV-12C-TLN2F

oskneo · 发表于 2022-3-28 01:47

lucifer6e 发表于 2022-3-26 15:03
我是同一台机器，Intel的手册里写了支持给VM开RDMA（iWarp），前提VM必须开启SR-IOV和VMQ
虚拟机里Intel的V ...

看到这主板瞎了，某鱼卖差不多10000，虽然包含cpu。
45w的cpu感觉勉强可以，就是没核显感觉很麻烦。今天t520cr到了，sriov依然失败，基本可以说是主板问题了。
求推荐可以sriov的am4主板，实际上全网没看到过华硕的am4成功的。外网看到说sriov需要acs和ari，所以am4要买华擎。其实偶之前是x570太极的，后来暴毙才换现在这个，现在感觉又要回去华擎。所以是否随便一个华擎b550，x570就行。不过现在才看到，b550太极简直完爆x570啊，有双显示输出加三pcie16x的就这个，可惜现在没便宜二手卖，只有原价。

—— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.2

ltycomputer · 发表于 2022-3-28 11:00

本帖最后由 ltycomputer 于 2022-3-28 11:02 编辑

我自己的微星X570 Godlike更新了某次BIOS以后有了SRIOV选项，配合X550也能开

不过这个和RDMA算是聊胜于无了，跑万兆在CPU占用上也就个位数……40G再考虑吧

再说微软原生的SMB已经很好了，对多核优化完胜Linux下的Samba，随机读写不行基本上SMB协议就那样了吧……

oskneo · 发表于 2022-3-31 15:13

ltycomputer 发表于 2022-3-28 11:00
我自己的微星X570 Godlike更新了某次BIOS以后有了SRIOV选项，配合X550也能开

不过这个和RDMA算是聊胜于无 ...

请问你是用什么cpu的？
看到外网有说Renoir原生不支持acs所以sriov无望。
昨天我的b550太极到了，插上去试了一下，初始bios没acs和ari。
更新bios有ari了，但输入iovsupportreason写不支持acs所以有问题。
但好像不止4000g系有问题，5000g系都有问题。
被这坑死了，不是pro系无法用ecc内存啊，增加显卡又会增加功耗和减少pcie口。
想弄个小型服务器平台为啥就这么难呢

—— 来自 Sony XQ-AT52, Android 10上的 S1Next-鹅版 v2.5.2-play

oskneo · 发表于 2022-4-1 06:07

本帖最后由 oskneo 于 2022-4-1 06:35 编辑

感觉有点想放弃amd平台了。
想问问英特尔的c246平台会否有这些问题？
有点想上华硕的c246-ace，有没其他推荐？
想上c246+9500te因为9500te支持ecc且35w。
11代十二代的支持ecc的cpu都不知道用啥主板，
搜了一下c250主板没搜到。
不过9100te这种cpu是否其他虚拟化功能真没问题？
还是说要上e-2146g这样的？（功率有点大，不知道主板能否像am4那样有强制35w模式，如果能就太好，毕竟便宜）
还是说跟amd一样有核显的都不行？

—— 来自 Sony XQ-AT52, Android 10上的 S1Next-鹅版 v2.5.2-play

navarra · 发表于 2022-4-1 08:52

oskneo 发表于 2022-4-1 06:07
感觉有点想放弃amd平台了。
想问问英特尔的c246平台会否有这些问题？
有点想上华硕的c246-ace，有没其他推 ...

c246-ace CPU支持列表里面没有9500TE

oskneo · 发表于 2022-4-1 13:21

本帖最后由 oskneo 于 2022-4-1 14:07 编辑

navarra 发表于 2022-4-1 08:52
c246-ace CPU支持列表里面没有9500TE

啊，的确，支持列表里一个te也没。
不过可能这列表是初始状态的，那时te还没出？
不过其实9500te是看错了，这个不支持ecc，
9100te才支持。8000系列好像没te。
不过9100te性能感觉有点弱啊。
不过如果2146g能降频降功耗用的话就不用理会那么多了。
另外，原来10代11代的平台叫w480啊，这些也同求推荐

—— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.2

oskneo · 发表于 2022-4-1 16:58

其实w系列和c系主板在支持的功能上也什么区别？如c256和w480。w系cpu和e系cpu的差别也不太清楚。好像只是功耗不同？功能上没啥差别？
现在有点想上技嘉w480 vision w和w-1250te

—— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.2

oskneo · 发表于 2022-4-3 12:06

这c246和w480的主板，看说明书貌似都没写能开acs或ari。
明确写着能开的貌似就超微的x11sdv，不过那个cpu有点弱，pcie有点少，没核显。虽然好像有rdma的网口已经有了，而且好像主板上有sff8644口，不知道是hba卡还是raid卡，能否用lsi的软件。
所以现在还是先弄个pro 3600和gtx1650试试现在的主板

—— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.2

荆凛音 · 发表于 2022-4-4 15:36

oskneo 发表于 2022-4-3 12:06
这c246和w480的主板，看说明书貌似都没写能开acs或ari。
明确写着能开的貌似就超微的x11sdv，不过那个cpu有 ...

没核显，有板载的AST啊

oskneo · 发表于 2022-4-7 15:34

荆凛音发表于 2022-4-4 15:36
没核显，有板载的AST啊

这个应该是没
3d能力和硬编码能力吧想在某个虚拟机里玩点小游戏和串流的。
昨天
3600pro和1650到了，梦寐以求的sriov终于成功。功耗量了一下，147w待机。有点吓人，
之前4650ge是117w。现在插着8个盘，t520cr，富士通的raid卡，1650。
不知道还有什么优化空间。
话说串流看1650的硬编码的画质是比amd核显好很多。
之前看评测，说icelake的硬编码更好，不过那是轻薄本的g系列cpu，有96eu的。台式机的核显好像没这么强。工作站的w1350的gpu是p750，好像是32eu，比w1250的p630升级电脑不知道硬编码能力如何。可惜w13系的35w版只有最顶级的8核有，不像w12有w1250te。始终怀疑主板强硬限功率的省电效果，之前4650ge在aida64看不到10w，现在3600开了eco mode（45w），都肯定在20w以上。
不知道有没更好的方案呢。

—— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.2

satan023 · 发表于 2022-4-7 18:27

不知道我直接买的r630 代理80w

oskneo · 发表于 2022-4-7 21:50

本帖最后由 oskneo 于 2022-4-7 21:51 编辑

satan023 发表于 2022-4-7 18:27
不知道我直接买的r630 代理80w

80w是包括8个3.5寸hdd？
cpu是e5 2603？

—— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.2

satan023 · 发表于 2022-4-8 08:41

oskneo 发表于 2022-4-7 21:50
80w是包括8个3.5寸hdd？
cpu是e5 2603？

2620×2
2.5hdd×5

oskneo · 发表于 2022-4-10 03:51

本帖最后由 oskneo 于 2022-4-10 03:54 编辑

satan023 发表于 2022-4-8 08:41
2620×2
2.5hdd×5

原来如此，那应该功耗会低点。

话说偶最后试chelsio的网卡是rdma成功了，
但iwarp实在太弱。
4k单线速度就从15m升到18m而已。
然后试大家都喜欢的cx341a的roce，
这个应该是roce v1。结果很悲剧，
vf是做出来，sriov成功，但vm里的bf属性高级选项并不能调rdma，输入get net adapter rdma也只出现hyperv的默认nic。而教程里（dell那篇）是会同时出现两个nic的。看外网有些人说一定要SET就是虚拟交换机要上teaming，有些人说不一定，反正偶是没成功。
现在放弃windows server试了一下esxi，用的是vsphere 7u3。cx342双口网卡居然显示为一个设备，这样不能给两个系统各一个网口了。旁边的x550双口明明显示为两个设备。结果是在管理pci设备那里，无论设置啥设备直通还是sriov都失败。重启后也死说需要重启才能直通或sriov。包括网卡，raid卡，独显都这样。这是因为主板不太兼容esxi？记得以前用6.5的时候都不会这样，虽然那时候为搞虚拟嵌套和直通，实际系统很不稳定，最后还是放弃了。其实esxi是否要找回支持列表上的硬件才能稳定运行？

—— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.2

satan023 · 发表于 2022-4-11 01:23

oskneo 发表于 2022-4-10 03:51
原来如此，那应该功耗会低点。

话说偶最后试chelsio的网卡是rdma成功了，

当然是在esxi支持列表上的硬件稳定性强啊。。。你要玩这种东西干嘛不搞个准系统啊
自己攒跟个大号PC有啥区别。。。

oskneo · 发表于 2022-5-2 18:01

之前的全失败了，b550平台虽然还是成功acs和sriov了，但基本上全功能的就那么一个pcie口，别的不是被显卡霸占（apu无法开启acs），就是都是连pch的，一样无法直通和acs。
索性直接上服务器平台，之前一直没找到省电的服务器平台，w480加w1250，1350不肯定能开，而且pcie lane太少。
最终看中e5 2618l v4或2630l v4，而且便宜不少。
想问一下，这两个是匹配x99和c612平台吗？这两个平台有什么区别？
随便找了一下有pcie x8槽4个以上的x99-ws，支持ecc不错，支持rdimm不错，但支持cpu列表没2618只有2630。不过这板子过了这么久居然还没二手1000以上，不知道有没更好的选择。
内存的话是rdimm更加便宜吧。

—— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.4

葱花鱼 · 发表于 2022-5-2 18:15

oskneo 发表于 2022-4-7 15:34
这个应该是没
3d能力和硬编码能力吧想在某个虚拟机里玩点小游戏和串流的。
昨天

Intel核显的编解码能力和媒体核心代数有关，和EU单元数量无关

葱花鱼 · 发表于 2022-5-2 18:20

oskneo 发表于 2022-4-1 06:07
感觉有点想放弃amd平台了。
想问问英特尔的c246平台会否有这些问题？
有点想上华硕的c246-ace，有没其他推 ...

追求带T的CPU基本上都是被那帮不懂的人写的帖子忽悠瘸了，待机功耗和普通版没区别，需要突发高性能又提不上去，简直冤大头，况且标准CPU又不是不能在BIOS里限制功耗，实在无法理解。

oskneo · 发表于 2022-5-2 18:27

葱花鱼发表于 2022-5-2 18:20
追求带T的CPU基本上都是被那帮不懂的人写的帖子忽悠瘸了，待机功耗和普通版没区别，需要突发高性能又提不 ...

intel平台的没试过，amd平台的，4650ge待机aida64的确写10w以下4600g是20w以下，3600x是30w以下

—— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.4

oskneo · 发表于 2022-5-2 18:39

本帖最后由 oskneo 于 2022-5-2 19:28 编辑

火神革命的主板如何。
不用问了，看了官网，没说明书没固件。问了淘宝店，一问三不知，说明书也没。
那就是说基本只有x99-ws和x10srl能买？

—— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.4

赤色彗星SEXY · 发表于 2022-5-2 19:49

家用为啥要虚拟化
直接原生系统里跑不行么

		自动登录	找回密码
密码			立即注册

[软件] 求教一下家用服务器ALL IN ONE用x99平台组建