lucifer6e 发表于 2021-10-18 10:56

装了个超级闷罐ITX小机箱做Homelab,彻底塞满了,易燃易爆炸

首先上配置图:

塞了9个SSD,HWiNFO64一页显示不下,我自己P了一下图



正面,机箱是SliverStone的SG 13,11L Mini-ITX机箱。前置接口线和电源开关线全部被我取下来了,开口用胶带封住防尘。用主板自带的IPMI控制开关机足够了



侧面,就这么大,222x181x285



专门买了个FLIR ONE Pro测待机温度:



所有SSD一起跑,温度还可以




打算装Proxmox 7,TrueNAS SCALE,pfSense,vgpu_unlock,学习一下VDI再玩玩云游戏
炸了就当行为艺术了,Intel SSD都在保,希望人没事

lucifer6e 发表于 2021-10-18 10:58

本帖最后由 lucifer6e 于 2021-10-20 22:22 编辑

沙发先占了,慢慢发装机图
照片都是用iPhone 13 Pro Max的Cinematic模式拍了截图的,感觉效果挺不错的,拍出来都是Dolby Vision的



装机计划的诞生是因为看到了ASRock Rack出了这款神奇的妖板:
https://www.asrockrack.com/general/productdetail.asp?Model=ROMED4ID-2T
ROMED4ID-2T,非标准尺寸的"Deep mini-ITX“主板,Socket SP3
基本上就是比传统ITX在正对着IO的方向上宽出来一截(上图右侧)

EPYC服务器平台,最高支持到EPYC Milan 64核
支持4通道ECC DDR4,不像某些号称服务器级的ITX小板却只能用SODIMM,或者只有2个内存槽
1个M.2 22x80,PCIe 4.0x4 NVMe/SATA
1个PCIe 4.0 x16
2个10GbE RJ45口,网卡是Intel X550-AT2,支持SR-IOV
6个Slimline 8i接口(等同于6个PCIe 4.0 x8,都可以拆分成x4x4,另外1和2号可以拆分成8个x1搭配转接线变成最多16个SATA口,不过全网买不到能用的转接线,喷了)
另外还有一个单独的IPMI专用网口,以及2个Type-A USB3.2 Gen1在背板上



这也太有意思了吧,于是我就有了利用这块主板装一台超小型All in one homelab的念头

[*]必须要ITX机箱,在此基础上越小越好,挑战极限
[*]必须要能放得下全尺寸显卡,没有显卡没有灵魂。It must be able to run Crysis, with Ray Tracing!
[*]还要塞得下许多SSD,装TrueNAS组ZFS阵列给虚拟机用,2-way mirror+SLOG+special metadata vdev+大内存
[*]全部使用Intel企业级SSD,支持掉电保护才敢给ZFS用
[*]打算全用猫头鹰风冷散热,因为机箱尺寸和SP3接口的限制,上水冷并没有多大好处,而猫扇就可以全部无脑拉到100%挂着去了
[*]不装软路由不算All in one,装pfSense做软路由,a portable data center

接着开始选机箱,首先看的是Cooler Master NR200,20L体积,后来觉得NR200太大,而且主要是为了水冷设计的,放弃。
Cooler Master Elite 130,也是20L体积,特点是有个5.25寸插槽,搭配Icy Dock的转换托架可以放很多U.2 SSD,但是电源位置在CPU上方,散热有点受限。
后来又发现一款同样大小的Fractal Design Core 500,硬盘位置超多,也有一个5.25插槽,电源在主板旁边,散热器高度不受限,可以放得下猫头鹰最大的SP3散热器U14S,就是这个电源的位置好像跟主板不兼容,有点遗憾
搜索的时候我看到Linus的一期视频里用Silverstone SG15玩过这个主板,19L,要动刀拆掉中间一个挡板才能用。https://www.bilibili.com/video/BV1zT4y1P7qW
然后我就发现了Silverstone的另一款ITX机箱,SUGO 13 (SG13),222x181x285,只有11.5L的体积,真刺激!
我还找到了当年青涩的白嫖王review SG13的视频,(The MOST Compact Gaming PC - Titan X & 18 Core Xeon CPU in a Shoebox - YouTube)
发现他利用电源位上方的空间多放了两个SSD,这招不错,就决定用SG13了。
(另外Ncase M1也是这个体积,但它主要是给M.2 + AIO设计的,没有那么多2.5寸盘位,而且我不太喜欢那个外观。还有个还没上市的DAN case C4-SFX,为这款主板的尺寸做过特别优化,也是硬盘位不够)



主板的供电口,两个8-pin CPU供电,一个4-pin主板供电,还有一个4-pin是给随机附赠的4-pin转6x SATA供电线用的



Slimline接口如图所示,也叫SlimSAS,不要跟Oculink搞混了
从右至左为1~6号,1 / 2号为了显示其特殊性ASRock脑抽选了个LowProfile的规格,导致常规的线材都不能用,本来Slimline(SFF-8654)的线就已经很贵了,我找遍全网只看到一家有卖LowProfile转LowProfile的线,没有蛋用。这两个口暂时等于不能用。



主板上只有一个M.2口,有点可惜不过也没有空间放更多了。支持SATA或者PCIe 4.0x4
放启动盘用的,我选了SATA规格Intel D3-4510 960GB,为了兼容性,稳定和温度。反正Hypervisor启动盘平时没有多少读写
只在上面装PVE7,TrueNAS SCALE,pfSense



CPU本来想用4通道强化的16核7282的,后来看到个不错的48核7642的deal,就它了



把主板装在CPU上



内存用的是4条128GB的三星LRDIMM DDR4-3200 ECC,因为ZFS需要大内存,然后跑很多虚拟机也需要大内存,打算分一半256GB给TrueNAS,剩下的用来跑虚拟机
M386AAG40AM3-CWE - Samsung 1x 128GB DDR4-3200 LRDIMM PC4-25600L Quad Rank x4 Module (memory.net)



为了兼容Windows 11我还专门搞了颗TPM的芯片



TPM2芯片搭配Mortar + Proxmox可以实现Full Disk Encryption and Boot Stack Protection,将来有时间可以试一下
mortar/proxmox-install.md at master · noahbliss/mortar · GitHub



Intel D3-S4510 960GB,这是我唯一能找到的Intel企业级有PLP掉电保护的M.2 22x80的SSD。Intel很少有M.2 22x80这个规格的企业盘,基本都是22x110。
今年新出的SATA TLC D3-S4520就只有480GB的版本,其实480GB做启动盘也足够了,没用主要是因为下了订单要12月底才有货。



我给它套了个PNY的散热马甲,还挺合适的



散热器因为高度限制,只有Dynatron A26这个合适。自带的暴力扇忍不了,我换了个Noctua NF-A6x25 PWM



装上以后的样子



机箱去了外壳和前盖就是个铁框,真就是比鞋盒大不了多少



底座上的SSD位置也不能浪费了,因为还要在上边盖主板,所以厚度只能选7mm的
7mm的Intel U.2,也是就只有DC P4501这一款可以选了,而且已经停产了,我买了两块号称全新的4TB,查了保修明年到期,不知道是不是矿渣清0盘,反正也不放重要数据,无所谓了,把位置都填满我就满意了



放上去以后刚刚好,线也没被挡到,一切顺利



显卡我找了块Quadro RTX 8000,专业级显卡才配得上服务器平台嘛。48G显存配上vgpu_unlock的话,最多能开48个虚拟显卡,支持光追!



装上去以后发现这卡电源接口是在前边的,不弄个LowProfile接线的话,就盖不上前盖了



NF-A15 PWM,最主要的前置风扇



本来准备的A12,但是我惊喜的发现A15也能装得下,还是一寸大一寸强吧!



这风扇装上以后常见的PCIe矮转接头已经不能用了



还好我找到了这种线头型的延长线



一个6-pin,一个8-pin,刚刚好



跟SF750附赠的原装线对比一下,原线要宽出去1个厘米还多,不换的话前面板关不上了



里边这个角度再观察一下



接下来装给Slimline配的硬盘线,3根Highpoint TS8i-8639-060,0.6m,$35一根
SlimSAS 8i转U.2 x2 with SATA power



还有个10Gtek的0.5m 8i转8i线,$22,都是我能找到的最短的了
https://www.amazon.com/gp/product/B082NT2ZV9/



4根线全部插进去的效果,位置顺序后来有略微调整



电源选了比较靠谱的海盗船SF750,贴心附赠了SFX转ATX挡板。
这个挡板颠倒过来装也是可以的,这样电源位置就会高一些。



原装接在电源上的风扇,不是一直转动的,负载低的时候会停转,但我特别需要这个风扇来帮助机箱排风,所以拆开来换了个Noctua NF-A9x14 PWM直接接在主板上



电源线从缝隙里直接穿出来,另外搭配赠送的Y分离线,我又接了个小的NF-A4x20 PWM,用来给SSD散热



机箱上有个ATX电源托架,用SFX电源的时候就根本碰不到没有用处了,所以我把它掰弯了一点点,刚好顶住电源防止下沉



如果把SFX转ATX那个挡板倒过来装的话,电源会上移几公分,留一些空间出来在CPU散热器上方。
但是我需要在电源顶部放两个SSD,所以就选择这样贴合着安装了,螺丝拧紧后整个电源是微微贴在散热器上,希望CPU能挺住



近距离观察一下,十分大胆的玩法



电源风扇负责吸风从背部排出去



这样争取出来的宝贵的顶部空间,用来多放两个SSD,然后之前那个猫头鹰A4x20放在GPU上用双面胶粘在机箱尾部



主板上一共有3个风扇接口,一根在另一侧,接了CPU散热器上的A6,然后挨着GPU这边并排两根风扇排线,一根接前置A15,一根接Y分离线的A4+A9



接下来是做主存储的两块Intel D7-P5510, 7.68TB,最新的PCIe 4.0x4 NVMe。放在SG13自带的硬盘支架上,ZFS 2 way mirror,保证最好的性能。



盖在机箱上前方



两个Intel Optane DC P4801X,100GB,做ZFS SLOG专用盘,加速



为了利用好那几个Slimline,我翻了许多网站想了各种办法,最容易的还是转成2个U.2,或者转成2个Oculink接Icy Dock
Icy Dock官网上有几个非常屌的产品,比如5.25寸PCIe 4.0x4 M.2 8盘位,需要8个Oculink,热量不敢想
MB873MP-B_ToughArmor Series_REMOVABLE U.2 / M.2 SSD ENCLOSURES_ICY DOCK manufacturer Removable enclosure, Screwless hard drive enclosure, SAS SATA Mobile Rack, DVR Surveillance Recording, Video Audio Editing, SATA portable hard drive enclosure
或者5.25寸U.2 4盘位,4个Oculink
MB699VP-B V2_ToughArmor Series_REMOVABLE U.2 / M.2 SSD ENCLOSURES_ICY DOCK manufacturer Removable enclosure, Screwless hard drive enclosure, SAS SATA Mobile Rack, DVR Surveillance Recording, Video Audio Editing, SATA portable hard drive enclosure
但是都还没有上市开卖,我这机箱又没有5.25槽位,就不考虑了
后来让我看到了这款神奇的3.5硬盘架,SlimSAS 8i转M.2双盘位的产品,最高支持到22x110,$88,现在已经没货了
https://www.amazon.com/gp/product/B08HZG43KR/
接线只需要一根SlimSAS 8i和一个SATA供电就行了,非常省空间
既然能上22x110,那就非傲腾P4801X莫属了,100GB足够做SLOG了



最后还剩一个U.2口,用来插另一个P4501



SSD挡板下边正好有个突起,就把这个4501用双面胶粘在这里了



放置3.5硬盘架的位置就是这里,刚好可以帮助安排风道,同时风吹过M.2散热片带走热量
上边隔出来的空间用来理线,寸土寸金啊



利用硬盘架背部的凹槽,我用一根音箱线就把它固定住了,硬盘架另一端直接搭在CPU散热器的A6风扇上,很稳当



照着网上视频打了个渔夫结,方便拆卸维护



箭头指的是P4501,位置正好可以插上U.2接线。多余的线都怼到空隙里,给CPU风扇留好空间
主板供电是用附带的白色那个4-pin转24-pin ATX线连接的,我把它放到了电源和电源挡板的空隙里



近距离观察下理线



硬盘架下方空间近距离观察,正面A15进来的风顺势被A6吸走穿过CPU散热片,没有阻碍
GPU是公版blower style风扇,侧面吸风,后方接口处排风,不影响机箱内风道



最后再放上两个Intel Optane P5800X,400GB,同样用来ZFS 2 way mirror,做Special metadata vdev,放快速读取的小数据块



上边没什么好办法理线了,干脆拿块黑胶布盖上完事~



搞定收工,其貌不扬但实力惊人。之后有空我再写写系统配置心得什么的吧








東京急行 发表于 2021-10-18 11:29

-lilipeipei- 发表于 2021-10-18 11:46

EPYC

是Asrock Rack那个Deep mini-ITX主板吗?

hecas 发表于 2021-10-18 12:10

ashunicorn 发表于 2021-10-18 12:12

有钱人才有资格行为艺术啊https://cdn.jsdelivr.net/gh/master-of-forums/master-of-forums/public/images/patch.gif

lucky95 发表于 2021-10-18 12:24

cybernetics31 发表于 2021-10-18 12:26

………………有钱咋玩都行,epyc 不上大板着实浪费就是了

sayano 发表于 2021-10-18 12:28

有钱啊。。。。

すぴぱら 发表于 2021-10-18 12:30

jzsgtx 发表于 2021-10-18 12:42

itx的epyc还有rtx8000

JWJking 发表于 2021-10-18 13:15

进来之前没想到这么炸

neotaburiss 发表于 2021-10-18 13:41

rtx vgpu是要花钱买授权的吧.....

lucifer6e 发表于 2021-10-18 13:46

neotaburiss 发表于 2021-10-18 00:41
rtx vgpu是要花钱买授权的吧.....

不用,破解了

lawsherman 发表于 2021-10-18 13:55

你这是m2转sata?

浅仓透透 发表于 2021-10-18 14:00

我羡慕啊!

lucifer6e 发表于 2021-10-18 14:21

lawsherman 发表于 2021-10-18 00:55
你这是m2转sata?
SlimSAS 8i转Dual M.2
PCIe 4.0 x4x4不过我放的是两个3.0 x4的NVMe

台球论坛网友 发表于 2021-10-18 14:25

lucifer6e 发表于 2021-10-18 14:25

太晚了先睡了,明天再详细说说过程

yikaa 发表于 2021-10-18 14:36

有钱人的快乐往往就是这么朴实无华,且枯燥

kekro 发表于 2021-10-18 14:42

理线地狱

atomone 发表于 2021-10-18 15:29

基本上就是把主板插在cpu上了

萧还舟 发表于 2021-10-18 16:36

我对“FLIR ONE Pro”比较感兴趣

lq95v5 发表于 2021-10-18 16:45

我去。。这配置真的Rich

江宁老实人 发表于 2021-10-18 16:49

无梦女 发表于 2021-10-18 17:07

好狠,慕了

—— 来自 HUAWEI EBG-AN10, Android 10上的 S1Next-鹅版 v2.5.2

septer 发表于 2021-10-18 17:13

谁能想到这只银欣SG13的里面竟是

外挂全家脚气 发表于 2021-10-18 17:17

看得出楼主有钱有闲,CPU散热出风口那边可以做个3D打印的导风罩

Porsche 发表于 2021-10-18 17:29


让这么一堆大佬挤在一个小盒子里算是有钱人的专属玩法吗

Porsche 发表于 2021-10-18 17:40

有点担心sf750能不能伺候的住这些怪物

EXplus 发表于 2021-10-18 18:31

OiCkilL 发表于 2021-10-18 18:51

豪横

宅男的爱 发表于 2021-10-18 19:00

看前面还觉得是CHH风瞎折腾,看到醋酸布和困扎带——

您没有背叛工人阶级!

cxasuka 发表于 2021-10-18 20:03

希德尼娅 发表于 2021-10-18 21:41

这是在算硬盘币?

Realplayer 发表于 2021-10-18 21:47

意义不明,看不懂

linux40 发表于 2021-10-18 22:41

没有热插拔差评!

有口皆悲 发表于 2021-10-18 23:24

hlazd 发表于 2021-10-18 23:47

炸裂!

libratest 发表于 2021-10-19 08:57

itx装服务器
炸了记得再发一贴
页: [1] 2
查看完整版本: 装了个超级闷罐ITX小机箱做Homelab,彻底塞满了,易燃易爆炸