Stage1st

 找回密码
 立即注册
搜索
查看: 8322|回复: 100

[其他] (0517 完结)记录一下allinone家庭服务器的搭建过程

[复制链接]
发表于 2022-4-21 11:45 | 显示全部楼层 |阅读模式
本帖最后由 seducer0719 于 2022-5-17 10:25 编辑

想搞个homelab很久了,记录一下搭建过程,快递现在的时间完全没办法预估,每天更新一次。
每天更新之外顺手记一下搭好后想要折腾的东西。
  • 暂定pve做宿主机,虚拟机跑truenas,直通HBA给truenas用。
  • 还有个为消费级n卡解锁vgpu功能。没太细看。 https://github.com/DualCoder/vgpu_unlock
  • 额外一个奇怪问题,主板监控报警3V过低,只有0.66V但是我用起来又没出问题,和华擎那边发邮件还在沟通。目前为止试过刷最新bios,最新BMC固件,以及换个电源都没有解决。
  • To be continue.....

0517 - 完结。
机器装起来以后其实停了一阵子。买了5把Arctic的扇子,3把P14装在前面做进风吹吹硬盘,2把F14分别装在后面和上面做出风。当时就拍了一下前面。


之后就是机器启动,在sata dom里装pve,然后在pve里创建虚拟机。唯一需要注意的就是PVE安装的时候会让你配置网络接口,这个不要选错了。
划了4核CPU,200G内存,50G的系统硬盘。
剩下的nvme,mcx341万兆网卡(这个哪怕是双口的也只能一起直通,估计是改卡的原因),还有HBA卡都是PCIE直通进去的。

其他设备还好,NVME因为都是三星的,从名字和描述上根本分辨不出来…

挂载truenas scale的镜像,启动以后安装就可以了。基本都挺傻瓜的。
进到truenas以后就是做zfs的存储池。8块硬盘选的是raidz1,后来爬社区帖子才发现还有个规则。
不过无所谓了…能用就行。
RAIDZ1 vdevs should have 3, 5, or 9 devices in each vdev
RAIDZ2 vdevs should have 4, 6, or 10 devices in each vdev

然后还有2块nvme组的mirror做special的vdev,这手是从chiphell的jerrytsao帖子里偷学的。具体作用如下。
Using a special vdev drastically speeds up random I/O and cuts the average spinning-disk I/Os needed to find and access a file by up to half.



完成后面板。200G的内存大概吃掉了一半。


之后就是点点点的操作,建立smb共享,然后传个文件,跑个分

——————————————————————————————————————————————————————————————


0501 - 全世界劳动人民万岁

其实上一周就开始想把机子搭起来,结果节前又忙起来,社畜的时间真的不值钱啊,拖到了五一,总算是把机器启动起来了。

散热是利民的TA120 tr4底座,散热器本身没什么问题,sp3的底座装起来也很方便。对准螺母拧上去就行。

唯一的小问题是我在小心翼翼扣上扣具,往cpu上挤硅脂的时候,我的”川“才画完一半,硅脂就没了,

不知道是放太久还是给的太少,自己给抹匀了。

额外搞了2块硬盘,8块放满,然后HBA上的SFF-8643转sata的线我买的有点问题,图方便买的是2转8,结果在硬盘方向的插头两边多出来个拧螺丝的座,

和机箱的硬盘托盘打架,没法用。临时用主板送的1转4先连4块看看。

最后终于给装起来了。

开机先进HBA,看看硬盘。连着的4块都识别出来了。

BIOS首页,2条内存都识别出来,nice。

然后是远程维护的BMC

搞了个PE系统,先起个aida64看看,不过没办法看内存的spd,后来搜了一下发现reg ecc好像大部分都没法看?

最后待机的CPU功耗, 硬盘部分等8块都上电了再看看。

机器基本就差不多了,除了最关键的SFF-8643转4sata之外就还差内存和万兆卡了。等后面接着更新了。

——————————————————————————————————————————————————————————————

0424这两天关键的快递基本都没怎么动弹,到了点其他的东西,电源,ssd,还有机箱。

九州风神750w,主要看重全日系电容,10年保
因为板子可以上2210的ssd,买了条三星983a 960g,这个型号现在应该没有清零。
以后所有虚拟机都扔这上面。
然后在咸鱼上捡了个sata dom做启动盘,主板的那个sata dom口说可以供电,盘上带个大d口,人晕了,等上机看看


电源送的线,1根是4sata电源线,2根是2sata2大d的混搭,应该可以用一阵子。

机箱今天下午到的,小区还不让快递进,搬这个可累死我了。
最后咬牙上的追风者PK620,机箱用的久,这台用完了下台接着用。

这个挡板的隐藏IO口设计我还挺喜欢的

说实话,顶盖的设计真挺拉的,直接拿个防尘网盖住的。

********************************************************************************************************
0422
还是顺丰给力, 主板和内存都到了。
差个散热就能点一下试试了,等待揽收等了2天了也没动弹

主板在购物车里躺的挺久的了,华擎epycd8,比超微对应的主板多1条pcie也多一个m2口。支持ROME,等以后还有的垃圾可捡
内存先买了2条reg ecc试试水,2*32G, 没什么问题的话再把数量补上去。zfs也是个吃内存大户。
STH有个关于epyc1代平台内存通道数对性能影响的测试。看起来影响还挺大的。
https://www.servethehome.com/amd-epyc-naples-memory-population-performance-impact-at-16-cores/



****************************************************************
0421
首先从我发现柜子里还有6块未开封的8t硬盘开始。
心痒了许久准备折腾一下homelab,搞个truenas+虚拟机的allinone。
硬盘想凑8个,等其他东西快齐了再补吧。

今天一大早就被顺丰的快递叫到楼下取快递。
打开一层一层的卫生纸之后是今天的主角,EPYC 7371。





回复

使用道具 举报

     
发表于 2022-4-21 12:58 | 显示全部楼层
机箱准备用啥型号啊,硬盘不建议全塞满,以后要加容量会很蛋疼。

—— 来自 S1Fun
回复

使用道具 举报

     
发表于 2022-4-21 13:15 | 显示全部楼层
底层系统用啥?建议esxi或者pve,底层系统只有一种功能,减少损坏情况。
回复

使用道具 举报

发表于 2022-4-21 13:54 | 显示全部楼层
提前占楼等直播
我也有个homelab r630 里面搞了个zabbix后就没碰过了
因为我先有台群晖nas 存储、bitwardenrs、webdav什么的都放在上面
结果这台r630就吃灰块一年了 至今也不知道要拿来干嘛
回复

使用道具 举报

 楼主| 发表于 2022-4-21 14:01 | 显示全部楼层
百猪夜行 发表于 2022-4-21 12:58
机箱准备用啥型号啊,硬盘不建议全塞满,以后要加容量会很蛋疼。

—— 来自 S1Fun ...

机箱有几个备选,
航嘉阿尔法,
长城阿基米德km7(这个好像说硬盘架没缓冲),
游戏帝国巨人
安钛克p101s
再往上就是追风者pk620和其他了……

我的想法是先填满8块,再以后新加的话从光驱位转。
回复

使用道具 举报

 楼主| 发表于 2022-4-21 14:03 | 显示全部楼层
高卢鸡 发表于 2022-4-21 13:15
底层系统用啥?建议esxi或者pve,底层系统只有一种功能,减少损坏情况。

底层的话不知道是搞个pve然后虚拟truenas好点,还是裸机上truenas好点。
也是犹豫中,先趁拖延症没发病前把机子攒起来
回复

使用道具 举报

     
发表于 2022-4-21 14:06 | 显示全部楼层
turenas的容量拓展我记得挺麻烦的
回复

使用道具 举报

     
发表于 2022-4-21 14:09 | 显示全部楼层
seducer0719 发表于 2022-4-21 14:03
底层的话不知道是搞个pve然后虚拟truenas好点,还是裸机上truenas好点。
也是犹豫中,先趁拖延症 ...

如果你还有其他docker比较难跑的功能,建议esxi或者pve,底层系统越简单越好。
直接裸机truenas适合以后只在docker里跑跑qb等应用的。
当然docker也能跑debian等,所以也可以当我没说
可以搜一下我的帖子,当然现在上4u机箱了。
回复

使用道具 举报

发表于 2022-4-21 14:42 | 显示全部楼层
seducer0719 发表于 2022-4-21 14:03
底层的话不知道是搞个pve然后虚拟truenas好点,还是裸机上truenas好点。
也是犹豫中,先趁拖延症 ...

你的CPU是够的,就是不知道内存够不够
回复

使用道具 举报

     
发表于 2022-4-21 14:51 | 显示全部楼层
pcie hub………………
系统还是建议pve,truenas scale单机k3s我只能说过于阴间了。箱子真要8盘往上的话能上机柜上机柜,前段时间国鑫2u箱子挺便宜的。
回复

使用道具 举报

     
发表于 2022-4-21 14:59 | 显示全部楼层
我是裸机上unraid,另外一个软路由上pve,unraid的容量拓展非常简单。
回复

使用道具 举报

发表于 2022-4-21 15:17 | 显示全部楼层
二丁目拓也 发表于 2022-4-21 14:06
turenas的容量拓展我记得挺麻烦的

单盘扩展在测试了
有人用自己编译版试过了
就是不知道正式版这个功能今年会不会加入
回复

使用道具 举报

     
发表于 2022-4-21 15:40 | 显示全部楼层
马瑞科
回复

使用道具 举报

     
发表于 2022-4-21 16:52 | 显示全部楼层
尼特geek 发表于 2022-4-21 14:59
我是裸机上unraid,另外一个软路由上pve,unraid的容量拓展非常简单。

unraid有啥缺点不,除了缓存
回复

使用道具 举报

发表于 2022-4-21 16:55 | 显示全部楼层
狂笨de音速 发表于 2022-4-21 16:52
unraid有啥缺点不,除了缓存

上校验盘的话 读写速度有问题
回复

使用道具 举报

     
发表于 2022-4-21 17:29 | 显示全部楼层
狂笨de音速 发表于 2022-4-21 16:52
unraid有啥缺点不,除了缓存

我就没上校验盘,放的都是下载的剧集电影,没了就没了。照片资料我有四处备份,也无所谓。定期做个磁盘检查就行。

论坛助手,iPhone
回复

使用道具 举报

     
发表于 2022-4-22 22:14 | 显示全部楼层
琴酒 发表于 2022-4-21 16:55
上校验盘的话 读写速度有问题

用校验盘的话一定要搭配一个大容量的缓存盘,要不然日常使用非常难受,太慢了。另外unraid自身没有文件管理功能,得搭配docker使用。

—— 来自 S1Fun
回复

使用道具 举报

发表于 2022-4-23 00:28 来自手机 | 显示全部楼层
本帖最后由 oskneo 于 2022-4-23 00:36 编辑

这时代还上zfs的意义究竟是什么?
阵列偶回去到硬件raid了,
来了个9361。
不过今天几十块捡了张sas2308的it模式,
以后玩软raid能用pcie x1口。
这些主板和cpu啥都好,就是太耗电。
不知道有啥轻型点的方案来247。

—— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.2
回复

使用道具 举报

 楼主| 发表于 2022-4-23 20:33 来自手机 | 显示全部楼层
oskneo 发表于 2022-4-23 00:28
这时代还上zfs的意义究竟是什么?
阵列偶回去到硬件raid了,
来了个9361。

想整的truenas和zfs绑定了……
先折腾玩玩

—— 来自 OnePlus LE2125, Android 12上的 S1Next-鹅版 v2.5.2-play
回复

使用道具 举报

     
发表于 2022-4-23 20:49 来自手机 | 显示全部楼层
关注

—— 来自 Lenovo TB-9707F, Android 11上的 S1Next-鹅版 v2.5.2-play
回复

使用道具 举报

发表于 2022-4-23 23:37 来自手机 | 显示全部楼层
狂笨de音速 发表于 2022-4-21 16:52
unraid有啥缺点不,除了缓存

偶不用unraid原因主要是多盘不能像硬件raid那样加速,其次没smb直通。跟着就是嵌套虚拟有问题搞得桌面应用有些做不了。

—— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.2
回复

使用道具 举报

     
发表于 2022-4-24 09:28 | 显示全部楼层
oskneo 发表于 2022-4-23 23:37
偶不用unraid原因主要是多盘不能像硬件raid那样加速,其次没smb直通。跟着就是嵌套虚拟有问题搞得桌面应 ...

那您现在用的是哪个?truenas么?
回复

使用道具 举报

     
发表于 2022-4-24 09:42 | 显示全部楼层
不建议allinone,各个功能建议独立机器来实现,这样可靠性比较高,至少要把路由独立出来
回复

使用道具 举报

发表于 2022-4-24 10:34 来自手机 | 显示全部楼层
狂笨de音速 发表于 2022-4-24 09:28
那您现在用的是哪个?truenas么?

raid卡加windows server

—— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.2
回复

使用道具 举报

 楼主| 发表于 2022-4-24 13:06 | 显示全部楼层
liwangli1983 发表于 2022-4-24 09:42
不建议allinone,各个功能建议独立机器来实现,这样可靠性比较高,至少要把路由独立出来 ...

allinone里不会包括路由……op在我这里是独立的主路由
回复

使用道具 举报

     
发表于 2022-4-24 14:18 | 显示全部楼层
oskneo 发表于 2022-4-24 10:34
raid卡加windows server

—— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.2

好吧,我用了快十年的win server想换linux核心的,docker会方便好多。
回复

使用道具 举报

     
发表于 2022-4-24 14:33 | 显示全部楼层
马克,学习
回复

使用道具 举报

     
发表于 2022-4-24 16:13 | 显示全部楼层
马克
去年海淘的gen10p搁置了大半年最近刚搭完
建议底层还是用esxi或者pve
以及 虽然装了truenas 不过确实没体会到zfs有什么用...
回复

使用道具 举报

发表于 2022-4-24 20:24 来自手机 | 显示全部楼层
狂笨de音速 发表于 2022-4-24 14:18
好吧,我用了快十年的win server想换linux核心的,docker会方便好多。

还有一点不知道算不算unraid缺点,
之前试了装一张万兆网卡给虚拟机开sriov。
unraid是貌似只能直通。
但如果是pve由于是主流linux,
有debian的驱动,能编译出来安装,成功开sriov。

—— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.2
回复

使用道具 举报

发表于 2022-4-24 20:30 来自手机 | 显示全部楼层
紧那罗 发表于 2022-4-24 16:13
马克
去年海淘的gen10p搁置了大半年最近刚搭完
建议底层还是用esxi或者pve

esxi做底层的话如何解决iommu分组的问题呢,发觉偶主板在pch下面的三个pcie都分在一组。
基于kvm的能用acs override来解决。
不过可能这是家用主板的问题?
像lz这种专业版没这种问题?

—— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.2
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|Archiver|上海互联网违法和不良信息举报中心|网上有害信息举报专区|962110 反电信诈骗|举报电话 021-62035905|stage1st ( 沪ICP备13020230号-1 沪公网安备 31010702004909号 )

GMT+8, 2022-5-19 14:22 , Processed in 0.090865 second(s), 8 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表