（0517 完结）记录一下allinone家庭服务器的搭建过程

Kryss · 发表于 2022-5-12 13:32

华擎的服务器板子得上服务器散热，普通散热方向不对，要么吸pcie的热气要么对着pcie吹热气，个别主板还会挡内存

IPMI是插上就能用不需要改uefi来自: iPhone客户端

Hieda · 发表于 2022-5-14 19:58

马一下，我目前自己是一台arch软路由上lxc跑了些服务

我现在想法是后面直接买台多盘位的机箱+钙版配置+扩展卡，raid就直接用btrfs raid10来搞

我其实不是很明白为啥大家不直接裸机，隔一层虚拟机好处都有啥？

浅仓透透 · 发表于 2022-5-17 08:48

最近正好要装机。本来准备装Win Server 的，看了看好像装成PVE宿主然后挂个群晖和win10也行啊

seducer0719 · 发表于 2022-5-17 09:38

浅仓透透发表于 2022-5-17 08:48
最近正好要装机。本来准备装Win Server 的，看了看好像装成PVE宿主然后挂个群晖和win10也行啊 ...

感觉如果是win server配合hyper-v做直通也是可以的……也没说一定要用pve。看个人需求了

seducer0719 · 发表于 2022-5-17 10:32

完结撒花。以后软件上如果有什么折腾的成果再另起帖子了。

顺便最后的彩蛋，被丢出屋外的网络组。

hcho · 发表于 2022-5-17 11:51

功耗呢功耗怎么样，单独的nas24小时运行主要是功耗低，电脑要用的时候再用功耗低很多吧

Midnight.Coup · 发表于 2022-5-17 12:41

AllinOne都包含哪些，软路由，个人服务器(HomeLab)，NAS，下载机？还有什么

liwangli1983 · 发表于 2022-5-17 15:02

我是选择在电视旁边放了个机柜，ps5/nas/htpc/ups/router/switch什么的一股脑全塞进去了，箱子是带一个门的，拍的时候还没装

QQ截图20220517142454.jpg

有了机柜后又开始折腾，嫌htpc机箱小，买了个2u的小机箱把htcp（第二层）替换下来，不过这风扇太高了，回头还得想办法

QQ截图20220517142529.jpg

之前说10g，想想还是折腾了，入了一个crs305，分别接rb5009和nas，再加一个光转电模块接到卧室的主机，目前卧室只有一台主机所以先不上交换机了，以后再说

QQ截图20220517142620.jpg

seducer0719 · 发表于 2022-5-17 16:17

liwangli1983 发表于 2022-5-17 15:02
我是选择在电视旁边放了个机柜，ps5/nas/htpc/ups/router/switch什么的一股脑全塞进去了，箱子是带一个门的 ...

有机柜的确看起来就专业很多

Midnight.Coup · 发表于 2022-5-17 17:49

liwangli1983 发表于 2022-5-17 15:02
我是选择在电视旁边放了个机柜，ps5/nas/htpc/ups/router/switch什么的一股脑全塞进去了，箱子是带一个门的 ...

2u里放个ITX主板有之前B站热门视频中塔机箱里放y900op 那味了

浅仓透透 · 发表于 2022-5-17 17:57

我PVE装了7.1，啥都弄完以后发现SMB服务根本没有

seducer0719 · 发表于 2022-5-17 18:09

浅仓透透发表于 2022-5-17 17:57
我PVE装了7.1，啥都弄完以后发现SMB服务根本没有

smb得由你的nas提供……pve跟esxi类似只提供虚拟机功能

浅仓透透 · 发表于 2022-5-17 18:40

本帖最后由浅仓透透于 2022-5-17 18:41 编辑

seducer0719 发表于 2022-5-17 18:09
smb得由你的nas提供……pve跟esxi类似只提供虚拟机功能

是PVE 7.2 装了黑裙7.1……然后smb里面是空的写了这么一句把我整不会了
回退7.0.1……

liwangli1983 · 发表于 2022-5-17 18:45

Midnight.Coup 发表于 2022-5-17 17:49
2u里放个ITX主板有之前B站热门视频中塔机箱里放y900op 那味了

不是itx，是matx啊，这也没办法，原来机器是小机箱，主板买的matx，也不能为了箱子换主板，换2u机箱也只是为了能插半高卡，另外方便安散热器，1u太紧巴了，而且htpc也实在没啥可插的，除了这个显卡，下一步就是插个万兆光口卡就完了

seducer0719 · 发表于 2022-5-17 22:22

浅仓透透发表于 2022-5-17 18:40
是PVE 7.2 装了黑裙7.1……然后smb里面是空的写了这么一句把我整不会了
回退7.0.1…… ...

那我就不太熟了，我nas只用过qnap的

尼特geek · 发表于 2022-5-17 23:07

初始布局太乱了，nas放不下了，只好扔书房里

论坛助手,iPhone

cybernetics31 · 发表于 2022-5-17 23:22

pve就是debian，还自带zfs ，要啥功能ssh终端直接撸就是了

Kryss · 发表于 2022-5-18 01:09

8盘raidz1嗝屁概率太高了，只要挂一块重建的时候大概率继续挂，8盘建议单raidz2或者两个串联的mirror/raidz2来自: iPhone客户端

liwangli1983 · 发表于 2022-5-18 10:00

seducer0719 发表于 2022-5-17 16:17
有机柜的确看起来就专业很多

最主要是把放在各处的设备集中在一块了，外面清朗了很多，挺方便的

oskneo · 发表于 2022-5-18 17:36

Kryss 发表于 2022-5-18 01:09
8盘raidz1嗝屁概率太高了，只要挂一块重建的时候大概率继续挂，8盘建议单raidz2或者两个串联的mirror/raidz ...

现在raidz2加硬盘方便吗

—— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.4

Kryss · 发表于 2022-5-19 00:38

oskneo replied on 2022-5-18 17:36 引用:Kryss 发表于 2022-5-18 01:09 8盘raidz1嗝屁概率太高了，只要挂一块重建的时候大概率继续挂，8盘建议单raidz2或者两个串联的mirror/raidz ... 现在raidz2加硬盘方便吗 —— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.4

加不了，除非串联另一个一模一样的raidz2上去也就是raidz2 0来自: iPhone客户端

oskneo · 发表于 2022-5-20 00:59

之前的主板bmc不行自己刷bios开不了机。
今天送回来发现cpu死了，cpu开机后没温度。
然后试试散热器发现压着左右内存。
真是每步都是坑

—— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.4

oskneo · 发表于 2022-5-20 00:59

Kryss 发表于 2022-5-19 00:38
加不了，除非串联另一个一模一样的raidz2上去也就是raidz2 0

zfs居然到2022还这样，逼偶继续用硬件raid。

—— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.4

seducer0719 · 发表于 2022-5-20 01:01

oskneo 发表于 2022-5-20 00:59
之前的主板bmc不行自己刷bios开不了机。
今天送回来发现cpu死了，cpu开机后没温度。
然后试试散热器发现压 ...

感觉u和板太脆弱了……

…我的3v传感器好像坏掉了，不过不影响使用就那样了

Kryss · 发表于 2022-5-20 06:01

oskneo replied on 2022-5-20 00:59 引用:Kryss 发表于 2022-5-19 00:38 加不了，除非串联另一个一模一样的raidz2上去也就是raidz2 0 zfs居然到2022还这样，逼偶继续用硬件raid。 —— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.4

有人在搞真正意义上的扩容但是非常怀疑这玩意会不会在扩容过程中连炸几块盘，毕竟把stripe摇匀到新盘跟重建的io也差不多了来自: iPhone客户端

liwangli1983 · 发表于 2022-5-21 13:12

10G网络搞成了，效果还行，只不过跑了一分钟测试，电口模块就50+度了

oskneo · 发表于 2022-5-22 00:41

Kryss 发表于 2022-5-20 06:01
有人在搞真正意义上的扩容但是非常怀疑这玩意会不会在扩容过程中连炸几块盘，毕竟把stripe摇匀到新盘跟重 ...

偶在硬件raid上扩充新盘大概需要几天，
以前用9260要9天

—— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.4

oskneo · 发表于 2022-6-9 13:05

想问问lz这套内存性能是如何，偶这套搭好后居然内存性能不到偶笔记本的一半，也就是15g/s左右，下图是笔记本的。
这样造成让内存给硬盘阵列做缓存，速度只有6m/s，以前家用主板的时候测过好像是30m/s以上的。
现在用4条2133的lrdimm做4通道。

x

seducer0719 · 发表于 2022-6-9 19:23

oskneo 发表于 2022-6-9 13:05
想问问lz这套内存性能是如何，偶这套搭好后居然内存性能不到偶笔记本的一半，也就是15g/s左右，下图是笔记 ...

额……我到手就装promox了，也没法给你测这个…reg ecc延迟是要比普通ddr高的。
不知道你那个6m/s的速度怎么来的……所以没帮你…

oskneo · 发表于 2022-6-9 22:24

本帖最后由 oskneo 于 2022-6-9 22:32 编辑

seducer0719 发表于 2022-6-9 19:23
额……我到手就装promox了，也没法给你测这个…reg ecc延迟是要比普通ddr高的。
不知道你那个6m/s的速度 ...

不是延迟，就是read和write这两个数值就行，虚拟机里面的数值也行我这里是15000mbps左右。

6MB/s那个是装了primocache开一级缓存就是纯用内存做缓存，然后用crystal disk mark测机械硬盘阵列的随机速度，这个其实不太重要，不测也没所谓。还是直接用aida64测内存速度更明确。

不过这6m的速度的确让我很失望，
要知道没花这几千前，用家用主板，没开rdma下测网络硬盘这速度是18mB/S。
搞完这套我现在还有几个件在某鱼卖不出去

—— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.4

seducer0719 · 发表于 2022-6-9 23:07

oskneo 发表于 2022-6-9 22:24
不是延迟，就是read和write这两个数值就行，虚拟机里面的数值也行我这里是15000mbps左右。

6MB/s那个是 ...

装了个win7 跑了一下。
不知道为什么那个benchmark有几个没读出来。我又单独跑了一下读取写入和拷贝。
参考一下吧。

oskneo · 发表于 2022-6-10 00:53

seducer0719 发表于 2022-6-9 23:07
装了个win7 跑了一下。
不知道为什么那个benchmark有几个没读出来。我又单独跑了一下读取写入和拷贝。
参 ...

感谢了，看来是我这内存的问题啊。
虚拟机里的内存理论上应该比原机慢，但也有我两倍速度，看来这样真不行

—— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.4

Kryss · 发表于 2022-6-10 02:59

oskneo replied on 2022-6-10 00:53 引用:seducer0719 发表于 2022-6-9 23:07 装了个win7 跑了一下。不知道为什么那个benchmark有几个没读出来。我又单独跑了一下读取写入和拷贝。参 ... 感谢了，看来是我这内存的问题啊。虚拟机里的内存理论上应该比原机慢，但也有我两倍速度，看来这样真不行 —— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.4

现代虚拟化对CPU和内存的浪费是非常小的，大头的浪费几乎全在IO那边，这就是为啥要搞iommu sr-iov之类的技术来自: iPhone客户端

lhw369 · 发表于 2022-6-10 03:02

浅仓透透发表于 2022-5-17 18:40
是PVE 7.2 装了黑裙7.1……然后smb里面是空的写了这么一句把我整不会了
回退7.0.1…… ...

去套间中心装smb服务

—— 来自 HUAWEI LIO-AN00, Android 10上的 S1Next-鹅版 v2.5.4

seducer0719 · 发表于 2022-6-10 09:18

Kryss 发表于 2022-6-10 02:59
现代虚拟化对CPU和内存的浪费是非常小的，大头的浪费几乎全在IO那边，这就是为啥要搞iommu sr-iov之类的 ...

原来如此，这个测的跟我主力机都差不多。

oskneo · 发表于 2022-6-10 23:43

Kryss 发表于 2022-6-10 02:59
现代虚拟化对CPU和内存的浪费是非常小的，大头的浪费几乎全在IO那边，这就是为啥要搞iommu sr-iov之类的 ...

用的是esxi，把cpu和内存的normal调成high，内存速度从15g/s升到23g/s了，区别居然这么大。
做缓存的速度由6m/s升到30m/s了。
打算换成4跟3200的16g内存

—— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.4

oskneo · 发表于 2022-6-11 23:10

本帖最后由 oskneo 于 2022-6-11 23:45 编辑

4条3200换好了，变现在这速度，感觉满意了。
虽然总内存变64g了，但其实应该还是够的。
只是未来未必够用。
话说如果放6 条内存会变多少通道？

iscsi盘是这速度，在smb3和smb直通加持下，
现在smb已经比iscsi快。
不过还是舍弃不了iscsi，因为新的windows对网络盘的支持更惨，
像这crystaldiskmark就不能直接选中已挂载smb的盘，而只能直接在网络那里选文件夹。
而win7是可以的。
—— 来自 Sony XQ-AT52, Android 10上的 S1Next-鹅版 v2.5.2-play

高卢鸡 · 发表于 2022-6-14 11:16

oskneo 发表于 2022-6-11 23:10
4条3200换好了，变现在这速度，感觉满意了。
虽然总内存变64g了，但其实应该还是够的。
只是未来未必够用 ...

我也折腾过iscsi，发现速度不正常。我挂载的是ssd。
后来就放弃了。

高卢鸡 · 发表于 2022-6-14 11:18

smb能用在驴子的下载和上传上就够了。原来计划是把主力机的工具软件都挂到iscsi上的。

oskneo · 发表于 2022-6-14 21:21

本帖最后由 oskneo 于 2022-6-14 21:23 编辑

高卢鸡发表于 2022-6-14 11:16
我也折腾过iscsi，发现速度不正常。我挂载的是ssd。
后来就放弃了。

速度怎样不正常？
在以前，iscsi小文件速度可是完爆smb的。
你用来做target的服务器是啥，偶都用10年了。
iscsi速度不满意可试试iser，
原版iscsi太久没更新了，
可以试试这新版的iscsi，
不过当然，需要硬件和软件都支持。

—— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.4

		自动登录	找回密码
密码			立即注册

[其他] （0517 完结）记录一下allinone家庭服务器的搭建过程

浏览过的版块