（0517 完结）记录一下allinone家庭服务器的搭建过程
本帖最后由 seducer0719 于 2022-5-17 10:25 编辑想搞个homelab很久了，记录一下搭建过程，快递现在的时间完全没办法预估，每天更新一次。
每天更新之外顺手记一下搭好后想要折腾的东西。
[*]暂定pve做宿主机，虚拟机跑truenas，直通HBA给truenas用。
[*]还有个为消费级n卡解锁vgpu功能。没太细看。 https://github.com/DualCoder/vgpu_unlock
[*]额外一个奇怪问题，主板监控报警3V过低，只有0.66V但是我用起来又没出问题，和华擎那边发邮件还在沟通。目前为止试过刷最新bios，最新BMC固件，以及换个电源都没有解决。
[*]To be continue.....
0517 - 完结。
机器装起来以后其实停了一阵子。买了5把Arctic的扇子，3把P14装在前面做进风吹吹硬盘，2把F14分别装在后面和上面做出风。当时就拍了一下前面。
http://tvax1.sinaimg.cn/large/6fe0e317gy1h2b5njkosqj22bk3341kz.jpg
之后就是机器启动，在sata dom里装pve，然后在pve里创建虚拟机。唯一需要注意的就是PVE安装的时候会让你配置网络接口，这个不要选错了。
划了4核CPU，200G内存，50G的系统硬盘。
剩下的nvme，mcx341万兆网卡（这个哪怕是双口的也只能一起直通，估计是改卡的原因），还有HBA卡都是PCIE直通进去的。
http://tvax3.sinaimg.cn/large/6fe0e317gy1h2b5nl9ecoj20ln09jgpg.jpg
其他设备还好，NVME因为都是三星的，从名字和描述上根本分辨不出来…
http://tvax2.sinaimg.cn/large/6fe0e317gy1h2b5nk0zm6j20m704hgp8.jpg
挂载truenas scale的镜像，启动以后安装就可以了。基本都挺傻瓜的。
进到truenas以后就是做zfs的存储池。8块硬盘选的是raidz1，后来爬社区帖子才发现还有个规则。
不过无所谓了…能用就行。
RAIDZ1 vdevs should have 3, 5, or 9 devices in each vdev
RAIDZ2 vdevs should have 4, 6, or 10 devices in each vdev
然后还有2块nvme组的mirror做special的vdev，这手是从chiphell的jerrytsao帖子里偷学的。具体作用如下。
Using a special vdev drastically speeds up random I/O and cuts the average spinning-disk I/Os needed to find and access a file by up to half.
http://tva4.sinaimg.cn/large/6fe0e317gy1h2b5nki8q5j21db0oqacf.jpg
完成后面板。200G的内存大概吃掉了一半。
http://tvax1.sinaimg.cn/large/6fe0e317gy1h2b5nkv8vyj21pp0pttfv.jpg
之后就是点点点的操作，建立smb共享，然后传个文件，跑个分
http://tvax2.sinaimg.cn/large/6fe0e317gy1h2b5nlksk2j20c907ytae.jpg
——————————————————————————————————————————————————————————————
0501 - 全世界劳动人民万岁其实上一周就开始想把机子搭起来，结果节前又忙起来，社畜的时间真的不值钱啊，拖到了五一，总算是把机器启动起来了。散热是利民的TA120 tr4底座，散热器本身没什么问题，sp3的底座装起来也很方便。对准螺母拧上去就行。http://tvax4.sinaimg.cn/large/6fe0e317ly1h1t3vbk4wrj22bk334npe.jpg唯一的小问题是我在小心翼翼扣上扣具，往cpu上挤硅脂的时候，我的”川“才画完一半，硅脂就没了，不知道是放太久还是给的太少，自己给抹匀了。http://tvax2.sinaimg.cn/large/6fe0e317ly1h1t3vc561dj22dc35s1ky.jpg额外搞了2块硬盘，8块放满，然后HBA上的SFF-8643转sata的线我买的有点问题，图方便买的是2转8，结果在硬盘方向的插头两边多出来个拧螺丝的座，和机箱的硬盘托盘打架，没法用。临时用主板送的1转4先连4块看看。http://tva3.sinaimg.cn/large/6fe0e317ly1h1t3va9dudj22bk3344qr.jpg最后终于给装起来了。http://tva1.sinaimg.cn/large/6fe0e317ly1h1t3v9pt3sj22bk334kjm.jpg开机先进HBA，看看硬盘。连着的4块都识别出来了。http://tva4.sinaimg.cn/large/6fe0e317ly1h1t3vco93tj23342bk4qq.jpgBIOS首页，2条内存都识别出来，nice。http://tvax1.sinaimg.cn/large/6fe0e317ly1h1t3vau4iyj23342bkhdv.jpg然后是远程维护的BMChttp://tva4.sinaimg.cn/large/6fe0e317ly1h1t4tz1x7rj21rk0klte8.jpg搞了个PE系统，先起个aida64看看，不过没办法看内存的spd，后来搜了一下发现reg ecc好像大部分都没法看？http://tvax2.sinaimg.cn/large/6fe0e317ly1h1t3ve6j4ij23342bkhdx.jpg最后待机的CPU功耗, 硬盘部分等8块都上电了再看看。http://tva1.sinaimg.cn/large/6fe0e317ly1h1t3vdegclj23342bk1l0.jpg机器基本就差不多了，除了最关键的SFF-8643转4sata之外就还差内存和万兆卡了。等后面接着更新了。——————————————————————————————————————————————————————————————
0424这两天关键的快递基本都没怎么动弹，到了点其他的东西，电源，ssd，还有机箱。
九州风神750w，主要看重全日系电容，10年保
因为板子可以上2210的ssd，买了条三星983a 960g，这个型号现在应该没有清零。
以后所有虚拟机都扔这上面。
然后在咸鱼上捡了个sata dom做启动盘，主板的那个sata dom口说可以供电，盘上带个大d口，人晕了，等上机看看http://tva4.sinaimg.cn/large/6fe0e317ly1h1kxg2dtc9j22bk334npe.jpg
电源送的线，1根是4sata电源线，2根是2sata2大d的混搭，应该可以用一阵子。
http://tvax1.sinaimg.cn/large/6fe0e317ly1h1kxg1ev6tj23342bkb2b.jpg
机箱今天下午到的，小区还不让快递进，搬这个可累死我了。
最后咬牙上的追风者PK620，机箱用的久，这台用完了下台接着用。
http://tva1.sinaimg.cn/large/6fe0e317ly1h1kxg0ur5zj23342bk4qr.jpg
这个挡板的隐藏IO口设计我还挺喜欢的
http://tva2.sinaimg.cn/large/6fe0e317ly1h1kxfz40qdj235s2dc7wi.jpg
说实话，顶盖的设计真挺拉的，直接拿个防尘网盖住的。
http://tva3.sinaimg.cn/large/6fe0e317ly1h1kxg068l8j22bk334x6s.jpg
********************************************************************************************************
0422
还是顺丰给力， 主板和内存都到了。
差个散热就能点一下试试了，等待揽收等了2天了也没动弹
主板在购物车里躺的挺久的了，华擎epycd8，比超微对应的主板多1条pcie也多一个m2口。支持ROME，等以后还有的垃圾可捡
内存先买了2条reg ecc试试水，2*32G, 没什么问题的话再把数量补上去。zfs也是个吃内存大户。
STH有个关于epyc1代平台内存通道数对性能影响的测试。看起来影响还挺大的。
https://www.servethehome.com/amd-epyc-naples-memory-population-performance-impact-at-16-cores/https://s2.loli.net/2022/04/22/w79jr6gA8vH4Pst.jpg
https://s2.loli.net/2022/04/22/A2HaNy9OxmbqKGl.jpg
****************************************************************
0421
首先从我发现柜子里还有6块未开封的8t硬盘开始。
心痒了许久准备折腾一下homelab，搞个truenas+虚拟机的allinone。
硬盘想凑8个，等其他东西快齐了再补吧。
https://s2.loli.net/2022/04/21/RwKrDUu1VTiq4zI.jpg今天一大早就被顺丰的快递叫到楼下取快递。
打开一层一层的卫生纸之后是今天的主角，EPYC 7371。
https://s2.loli.net/2022/04/21/Tlpt6dsXy9VjZPv.jpg
机箱准备用啥型号啊，硬盘不建议全塞满，以后要加容量会很蛋疼。
—— 来自 S1Fun 底层系统用啥？建议esxi或者pve，底层系统只有一种功能，减少损坏情况。 提前占楼等直播
我也有个homelab r630 里面搞了个zabbix后就没碰过了
因为我先有台群晖nas 存储、bitwardenrs、webdav什么的都放在上面
结果这台r630就吃灰块一年了 至今也不知道要拿来干嘛 百猪夜行 发表于 2022-4-21 12:58
机箱准备用啥型号啊，硬盘不建议全塞满，以后要加容量会很蛋疼。
—— 来自 S1Fun ...
机箱有几个备选，
航嘉阿尔法，
长城阿基米德km7（这个好像说硬盘架没缓冲），
游戏帝国巨人
安钛克p101s
再往上就是追风者pk620和其他了……
我的想法是先填满8块，再以后新加的话从光驱位转。 高卢鸡 发表于 2022-4-21 13:15
底层系统用啥？建议esxi或者pve，底层系统只有一种功能，减少损坏情况。
底层的话不知道是搞个pve然后虚拟truenas好点，还是裸机上truenas好点。
也是犹豫中，先趁拖延症没发病前把机子攒起来 turenas的容量拓展我记得挺麻烦的 seducer0719 发表于 2022-4-21 14:03
底层的话不知道是搞个pve然后虚拟truenas好点，还是裸机上truenas好点。
也是犹豫中，先趁拖延症 ...
如果你还有其他docker比较难跑的功能，建议esxi或者pve，底层系统越简单越好。
直接裸机truenas适合以后只在docker里跑跑qb等应用的。
当然docker也能跑debian等，所以也可以当我没说。
可以搜一下我的帖子，当然现在上4u机箱了。 seducer0719 发表于 2022-4-21 14:03
底层的话不知道是搞个pve然后虚拟truenas好点，还是裸机上truenas好点。
也是犹豫中，先趁拖延症 ...
你的CPU是够的，就是不知道内存够不够 pcie hub………………
系统还是建议pve，truenas scale单机k3s我只能说过于阴间了。箱子真要8盘往上的话能上机柜上机柜，前段时间国鑫2u箱子挺便宜的。 我是裸机上unraid，另外一个软路由上pve，unraid的容量拓展非常简单。 二丁目拓也 发表于 2022-4-21 14:06
turenas的容量拓展我记得挺麻烦的
单盘扩展在测试了
有人用自己编译版试过了
就是不知道正式版这个功能今年会不会加入 尼特geek 发表于 2022-4-21 14:59
我是裸机上unraid，另外一个软路由上pve，unraid的容量拓展非常简单。
unraid有啥缺点不，除了缓存 狂笨de音速 发表于 2022-4-21 16:52
unraid有啥缺点不，除了缓存
上校验盘的话 读写速度有问题 狂笨de音速 发表于 2022-4-21 16:52
unraid有啥缺点不，除了缓存
我就没上校验盘，放的都是下载的剧集电影，没了就没了。照片资料我有四处备份，也无所谓。定期做个磁盘检查就行。
论坛助手,iPhone 琴酒 发表于 2022-4-21 16:55
上校验盘的话 读写速度有问题
用校验盘的话一定要搭配一个大容量的缓存盘，要不然日常使用非常难受，太慢了。另外unraid自身没有文件管理功能，得搭配docker使用。
—— 来自 S1Fun 本帖最后由 oskneo 于 2022-4-23 00:36 编辑
这时代还上zfs的意义究竟是什么？
阵列偶回去到硬件raid了，
来了个9361。
不过今天几十块捡了张sas2308的it模式，
以后玩软raid能用pcie x1口。
这些主板和cpu啥都好，就是太耗电。
不知道有啥轻型点的方案来247。
—— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.2 oskneo 发表于 2022-4-23 00:28
这时代还上zfs的意义究竟是什么？
阵列偶回去到硬件raid了，
来了个9361。
想整的truenas和zfs绑定了……
先折腾玩玩
—— 来自 OnePlus LE2125, Android 12上的 S1Next-鹅版 v2.5.2-play 关注
—— 来自 Lenovo TB-9707F, Android 11上的 S1Next-鹅版 v2.5.2-play 狂笨de音速 发表于 2022-4-21 16:52
unraid有啥缺点不，除了缓存
偶不用unraid原因主要是多盘不能像硬件raid那样加速，其次没smb直通。跟着就是嵌套虚拟有问题搞得桌面应用有些做不了。
—— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.2 oskneo 发表于 2022-4-23 23:37
偶不用unraid原因主要是多盘不能像硬件raid那样加速，其次没smb直通。跟着就是嵌套虚拟有问题搞得桌面应 ...
那您现在用的是哪个？truenas么？ 不建议allinone，各个功能建议独立机器来实现，这样可靠性比较高，至少要把路由独立出来 狂笨de音速 发表于 2022-4-24 09:28
那您现在用的是哪个？truenas么？
raid卡加windows server
—— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.2 liwangli1983 发表于 2022-4-24 09:42
不建议allinone，各个功能建议独立机器来实现，这样可靠性比较高，至少要把路由独立出来 ...
allinone里不会包括路由……op在我这里是独立的主路由 oskneo 发表于 2022-4-24 10:34
raid卡加windows server
—— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.2
好吧，我用了快十年的win server想换linux核心的，docker会方便好多。 马克，学习 马克
去年海淘的gen10p搁置了大半年最近刚搭完
建议底层还是用esxi或者pve
以及 虽然装了truenas 不过确实没体会到zfs有什么用... 狂笨de音速 发表于 2022-4-24 14:18
好吧，我用了快十年的win server想换linux核心的，docker会方便好多。
还有一点不知道算不算unraid缺点，
之前试了装一张万兆网卡给虚拟机开sriov。
unraid是貌似只能直通。
但如果是pve由于是主流linux，
有debian的驱动，能编译出来安装，成功开sriov。
—— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.2 紧那罗 发表于 2022-4-24 16:13
马克
去年海淘的gen10p搁置了大半年最近刚搭完
建议底层还是用esxi或者pve
esxi做底层的话如何解决iommu分组的问题呢，发觉偶主板在pch下面的三个pcie都分在一组。
基于kvm的能用acs override来解决。
不过可能这是家用主板的问题？
像lz这种专业版没这种问题？
—— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.2 oskneo 发表于 2022-4-22 11:28
这时代还上zfs的意义究竟是什么？
阵列偶回去到硬件raid了，
来了个9361。
就怕raid卡过几年/十年坏了之后找不到备件 983a？这个没有好风道，会燃起来...... oskneo 发表于 2022-4-24 20:24
还有一点不知道算不算unraid缺点，
之前试了装一张万兆网卡给虚拟机开sriov。
unraid是貌似只能直通。
搜了下有成功案例，不过貌似挺复杂的 想问一下lz这套待机多少瓦，加上硬盘后多少瓦。
偶那套pro系列cpu加b550正以为这次应该没问题了，因为之前终于搞定sriov和acs。
结果最后完工前一刻，gpu半虚拟化和sriov居然只能选一个。
然后走pve直通，直通pch连的pcie x4时居然系统大爆炸，看错误信息是一堆pch连的设备都有问题。
明明已经acs override解决好iommu分组的了。
—— 来自 Sony XQ-AT52, Android 10上的 S1Next-鹅版 v2.5.2-play 追风者中塔祖传前面板 oskneo 发表于 2022-4-29 02:49
想问一下lz这套待机多少瓦，加上硬盘后多少瓦。
偶那套pro系列cpu加b550正以为这次应该没问题了，因为之前 ...
楼主加班中…假期看看能不能搞好
—— 来自 OnePlus LE2125, Android 12上的 S1Next-鹅版 v2.5.2-play 我就奇怪了
都跑完整系统了还还在x86里装虚拟机跑残疾系统
直接linux全跑不就行了 五一更新，自顶一下。 只是cpu功耗是不准确的，特别是主板超厉害和多pcie时。
话说lz这机箱多大啊，为啥这服务器主板能看起来这么小。
—— 来自 HUAWEI LYA-AL00, Android 10上的 S1Next-鹅版 v2.5.4 楼主hba卡和万兆用的啥型号？