本帖最后由 seducer0719 于 2022-5-17 10:25 编辑
想搞个homelab很久了，记录一下搭建过程，快递现在的时间完全没办法预估，每天更新一次。
每天更新之外顺手记一下搭好后想要折腾的东西。- 暂定pve做宿主机，虚拟机跑truenas，直通HBA给truenas用。
- 还有个为消费级n卡解锁vgpu功能。没太细看。 https://github.com/DualCoder/vgpu_unlock
- 额外一个奇怪问题，主板监控报警3V过低，只有0.66V但是我用起来又没出问题，和华擎那边发邮件还在沟通。目前为止试过刷最新bios，最新BMC固件，以及换个电源都没有解决。
- To be continue.....
0517 - 完结。
机器装起来以后其实停了一阵子。买了5把Arctic的扇子，3把P14装在前面做进风吹吹硬盘，2把F14分别装在后面和上面做出风。当时就拍了一下前面。
之后就是机器启动，在sata dom里装pve，然后在pve里创建虚拟机。唯一需要注意的就是PVE安装的时候会让你配置网络接口，这个不要选错了。
划了4核CPU，200G内存，50G的系统硬盘。
剩下的nvme，mcx341万兆网卡（这个哪怕是双口的也只能一起直通，估计是改卡的原因），还有HBA卡都是PCIE直通进去的。
其他设备还好，NVME因为都是三星的，从名字和描述上根本分辨不出来…
挂载truenas scale的镜像，启动以后安装就可以了。基本都挺傻瓜的。
进到truenas以后就是做zfs的存储池。 8块硬盘选的是raidz1，后来爬社区帖子才发现还有个规则。
不过无所谓了… 能用就行。
RAIDZ1 vdevs should have 3, 5, or 9 devices in each vdev
RAIDZ2 vdevs should have 4, 6, or 10 devices in each vdev
然后还有2块nvme组的mirror做special的vdev，这手是从chiphell的jerrytsao帖子里偷学的。具体作用如下。
Using a special vdev drastically speeds up random I/O and cuts the average spinning-disk I/Os needed to find and access a file by up to half.
完成后面板。200G的内存大概吃掉了一半。
之后就是点点点的操作，建立smb共享，然后传个文件，跑个分
——————————————————————————————————————————————————————————————
0501 - 全世界劳动人民万岁其实上一周就开始想把机子搭起来，结果节前又忙起来，社畜的时间真的不值钱啊，拖到了五一，总算是把机器启动起来了。 散热是利民的TA120 tr4底座，散热器本身没什么问题，sp3的底座装起来也很方便。对准螺母拧上去就行。 
唯一的小问题是我在小心翼翼扣上扣具，往cpu上挤硅脂的时候，我的”川“才画完一半，硅脂就没了， 不知道是放太久还是给的太少，自己给抹匀了。 
额外搞了2块硬盘，8块放满，然后HBA上的SFF-8643转sata的线我买的有点问题，图方便买的是2转8，结果在硬盘方向的插头两边多出来个拧螺丝的座， 和机箱的硬盘托盘打架 ，没法用。临时用主板送的1转4先连4块看看。 
最后终于给装起来了。 
开机先进HBA，看看硬盘。连着的4块都识别出来了。 
BIOS首页，2条内存都识别出来，nice。 
然后是远程维护的BMC 
搞了个PE系统，先起个aida64看看，不过没办法看内存的spd，后来搜了一下发现reg ecc好像大部分都没法看？ 
最后待机的CPU功耗, 硬盘部分等8块都上电了再看看。 
机器基本就差不多了，除了最关键的SFF-8643转4sata之外就还差内存和万兆卡了。等后面接着更新了。 ——————————————————————————————————————————————————————————————
0424这两天关键的快递基本都没怎么动弹，到了点其他的东西，电源，ssd，还有机箱。
九州风神750w，主要看重全日系电容，10年保
因为板子可以上2210的ssd，买了条三星983a 960g，这个型号现在应该没有清零。
以后所有虚拟机都扔这上面。
然后在咸鱼上捡了个sata dom做启动盘，主板的那个sata dom口说可以供电，盘上带个大d口，人晕了，等上机看看 
电源送的线，1根是4sata电源线，2根是2sata2大d的混搭，应该可以用一阵子。
机箱今天下午到的，小区还不让快递进，搬这个可累死我了。
最后咬牙上的追风者PK620，机箱用的久，这台用完了下台接着用。
这个挡板的隐藏IO口设计我还挺喜欢的
说实话，顶盖的设计真挺拉的，直接拿个防尘网盖住的。
********************************************************************************************************
0422
还是顺丰给力， 主板和内存都到了。
差个散热就能点一下试试了，等待揽收等了2天了也没动弹
主板在购物车里躺的挺久的了，华擎epycd8，比超微对应的主板多1条pcie也多一个m2口。支持ROME，等以后还有的垃圾可捡
内存先买了2条reg ecc试试水，2*32G, 没什么问题的话再把数量补上去。zfs也是个吃内存大户。
STH有个关于epyc1代平台内存通道数对性能影响的测试。看起来影响还挺大的。
https://www.servethehome.com/amd-epyc-naples-memory-population-performance-impact-at-16-cores/ 
****************************************************************
0421
首先从我发现柜子里还有6块未开封的8t硬盘开始。
心痒了许久准备折腾一下homelab，搞个truenas+虚拟机的allinone。
硬盘想凑8个，等其他东西快齐了再补吧。
今天一大早就被顺丰的快递叫到楼下取快递。
打开一层一层的卫生纸之后是今天的主角，EPYC 7371。
| 
沪公网安备 31010702007642号 )
发表于 2022-4-21 11:45
。
pcie hub………………
想整的truenas和zfs绑定了……
马克
五一更新，自顶一下。