生命在于折腾，All in boom（homelab）搭建第二季

高卢鸡

翻了翻上次的帖子，发现都已经5年了。
第一季链接：生命在于折腾（误），家用娱乐中心
这几年折腾的精神一直没有变，从塔式机箱换成了机架式（在硬盘币高点当了冤大头），买了个超微代工的浪潮4u箱子，带6gb扩展背板，上了万兆网络，各种情况不一一细说了。
上一下有点旧的网络拓扑图
这是当年（应该是没升级机架式和万兆时）


下面这个也是旧的，只不过升级了万兆和新箱子，实际是win10 lstc也是万兆。



年初冲动入了洋垃圾r730xd，想体验一下高端服务器，确实比浪潮这个组装货做工强多了，里面各种空间利用及走线确实高效。然后想折腾心心念多年的promox VE虚拟平台，遂有了以下的各种浪费时间。

————————————————————————————————————————————————————
因为各种事情，写了个开头就奔着弃坑去了，睡前打开电脑写几句吧。
先写写为啥想换。作为一个没有超能力的凡人，平常也就编译一下op。最开始用虚拟机，后来觉得会浪费一些性能，也为了更好的学习linux，遂入坑了。
最开始装ubuntu，后来被AUR种草，就转投arch系了，先从简单的manjaro开始，有意转投arch本家（还在计划中）。为了编译省事，又装了debian，grub引导三系统共存（win还不能舍，steam游戏试过了，效果还是差，还有cad，su等工具软件）。这里安利一下linux，manjaro下chroot进debian就可以用debian系统编译了，厉害，当然近几年的最佳linux发行版windows11也是可以的。
已经熟练使用了有几个月linux，自然觉得可以尝试pve了，应该照着教程可以从容应对了，我连安装显示驱动造成启动黑屏都处理过了。

1、安装pve挺简单的，照着教程可以方便安装。默认是使用一个完整硬盘，比如/dev/sda安装，这一点跟esxi是一样的。看过一些教程，只要备份几个配置文件就可以重装/恢复pve了，这一点我还未尝试。目前我是在u盘里安装esxi，然后用其他盘存储虚拟硬盘，再生龙直接备份u盘，方便恢复esxi系统。（u盘比较差，经常文件crc32错误启动esxi失败，使用再生龙恢复。）
2、之后我选定先把4u上装好pve，练练手，把需要用到的虚拟系统在pve上搭建好，再切换allinboom宿主系统，这个选择太明智了。事实证明，esxi除了升级、虚拟磁盘压缩、裸磁盘映射，ipmitool调速，这些操作需要命令行以外，确实是很好用的虚拟化平台的一个基础部分。只要你的硬件满足兼容性，目前我除了显卡直通因为需求不大没搞定外，相比在pve上的尝试真的很简单了。
在此先说一下，vsca管理esxi很好用，在r730xd上装好esxi后，加入vsca，转移虚拟机，方便快捷的把allinboom从自组4u转移到了r730xd上。但是vsca使用上有几个不变之处，比如90天root密码过期我一直没搞定（上网搜了好像也没用），安装、启动代价较大等等。pve这点就方便，自带cluster功能。
下面进入正题了，说一下我安装的或者打算安装的虚拟系统，win2019 ltsc、lean openwrt以及openmediavault。安装2019是因为如果新装2016需要安装很多补丁，迁移老的2016我又有点懒，或许可以尝试。op是allinboom的核心之一，目前在有限的尝试中，直通网卡表现良好。omv是目前我的nas系统，也是花很多时间折腾的原因。
欲知后事，我先保命睡觉去了。

————————————————————————————————————————————————————
继续利用睡前仅有的时间更新一下。
上次说到了要在pve宿主系统上布置omv。pve相对于7.0版以前的esxi的一大优势或者说大吹特吹的就是容器技术，随着技术的发展，后面我也不会说，反正就是容器技术是目前行业发展的一个比较热门的方向，硬件开销小，运行接近裸金属体验。vmware也意识到了这一点，在7.0上增加了k8s的支持，但是必须要装专门的套件，不如pve直接自带的lxc方便，毕竟是成熟的商业软件，要卖钱的。

Round 1

首先想到的就是lxc部署omv，网上有很多教程了。主要就是先用debian的lxc模板，然后安装omv，修改容器的配置文件挂载硬盘块。比如这篇PVE的LXC安装OMV并直通单个硬盘，pve中使用LXC容器安装OMV，LXC直通硬盘，Proxmox VE + OpenMediaVault使用lxc。但是在研究测试时，我发现都是omv连接设备路径之后，重新建立分区，我没找到导入已存储数据的zfs pool的方法。同时omv官方论坛的版主ryecoaaron在回答网友提问时也不建议将omv运行在lxc中，https://forum.openmediavault.org/index.php?thread/39809-omv6-and-lxc/&postID=279658#post279658。这种方式我尝试用debian11模板安装omv6，omv可以读到硬盘的smart信息，正常建立新的共享文件夹，虽然官方不建议，但应该也不失为一种选择。

Round 2

之后我对lxc不死心，发现里面有turnkey linux模板，里面你提供了各种方便的模板供选择，网上介绍的比较多的是media server这个模板，利用模板里的jellyfin作为媒体服务器，一个类似emby和plex的开源软件。这个如果想尝试，我抛块砖PVE最小资源安装Jellyfin（LXC容器使用turnkey-mediaserver模板）。
我所要用的是file share这个模板。剩下的下次更新。
————————————————————————————————————————————————————
上次说到使用turnkey-file share模板，发现简中的教程比较少，参照了仅有的一篇教程设置了一下，smb正常使用，nfs一直失败。turnkey系列模板不支持特权容器，所以不知道是否是因为这个原因。
但是我发现其实模板里用的就是webmin，这是一个基于web的unix系统管理器，所以呢，嘻嘻，卖个关子。

连续两次的失败，我已经累觉不爱了。

Round 3
回归最原始的VM虚拟机吧，按照各种教程，建立了虚拟机，然后使用omv的iso直接安装，首先先不直通各种设备保证顺利。一切正常，这个没啥可讲的，omv的文档以及各种教程都很多了，就不赘述了。
之后就是最让我痛心的，开启pve的iommu以及pcie直通，然后omv就。启动一切正常，但是大概7、8分钟后就自动重启，我在pve的论坛里搜了一下，有各种关于pci passthrough的问题，其中有人说是禁用ROM-bar可以解决：https://forum.proxmox.com/threads/working-vm-now-halts-at-_-booting-from-hard-disk-_-with-lsi-hba-passthrough.111736/
我还特意回复了，https://forum.proxmox.com/threads/working-vm-now-halts-at-_-booting-from-hard-disk-_-with-lsi-hba-passthrough.111736/#post-561968。

下面不知道咋办了，3战3败。

也想过直接lxc里装webmin了，那就只好放弃omv里的一些好用的功能了，想了想好像也没有独门的

yufangwen

小白问一下r730xd多少入的？是不是要买服务器机架

04DVzr

yufangwen 发表于 2023-5-30 23:32
小白问一下r730xd多少入的？是不是要买服务器机架

我买过2285hv2，噪声不是一般的大，不知道戴尔的怎么样
这种机架服务器最好别买，家用很难用上

Benighted

借地问问，准备给自己的nas + nuc +树莓派弄个小UPS，有没有什么推荐型号？

—— 来自 Xiaomi 2211133C, Android 13上的 S1Next-鹅版 v2.5.4

高卢鸡

Benighted 发表于 2023-5-30 23:52
借地问问，准备给自己的nas + nuc +树莓派弄个小UPS，有没有什么推荐型号？

—— 来自 Xiaomi 2211133C, A ...

apc的bk650cn。我家用的型号。usb管理

@yufangwen 手机app不会编译帖子，只好有空用电脑处理。r730xd我是1000多一点点买的，2630v4，16g内存，满盘架。没买更多内存的原因是4u系统用的是e5v3，d4内存直接换了。有机柜的好处是方便移动，线材容易打理，比较整洁。当然一些大佬也放床底下。噪音嘛，来源主要是1u电源以及机箱里的风墙，如果可以保证室内空气温度低，完全可以使用ipmitool调整风扇到10%甚至更低的风速，噪音降到45db以下。

高卢鸡

为了拯救废部危机（大误，明明是懒得更新主贴了，外加补充一下第一季到第二季之间得空白，所以打算写一下第1.5季。加班qtmd。写完躺平，明天继续加班，qtmd。
看了一下第一季时候得内容，还是amd zen1平台呢。
后来在这个平台上换了个勤诚塔式eatx机箱，把外置，不对，是放外面的四盘位硬盘抽取架装到了箱子里。
然后升级到了c612洋垃圾平台，x10dri+E5-2630L v3+48gb regecc，在硬盘币高点入了浪潮sa5224l2，最后得成果就是4u1p平台，配上i350-t4，lsi 2308阵列卡。esxi6.7作为宿主，跑lean openwrt（自编译）、win10 lstb2016、openmediavault。
op作为路由，跑各种服务。win10下载机跑emule x-mod（amule玩了一年，感觉连接数和传输效率不高）和日本p2p软件。omv跑qb-ee和transmission以及作为存储服务，win10通过smb连接存储下载。
然后是更加瞎折腾，入了网吧垃圾万兆交换机，买了万兆网卡，将win10、omv升级到万兆网络。大奶当然也是万兆网络。之后就是上开放式机架。

Nanachi

楼主有啥好用的家用自建服务可以推荐下

—— 来自 HUAWEI LNA-AL00, Android 12上的 S1Next-鹅版 v2.5.4

13号

Nanachi 发表于 2023-6-3 22:09
楼主有啥好用的家用自建服务可以推荐下

—— 来自 HUAWEI LNA-AL00, Android 12上的 S1Next-鹅版 v2.5.4 ...

自己用下来觉得好用的： pi-hole， 翻墙的clash， syncthing（这个其实不用搭服务）

过来参考下楼主的。

高卢鸡

Nanachi 发表于 2023-6-3 22:09
楼主有啥好用的家用自建服务可以推荐下

—— 来自 HUAWEI LNA-AL00, Android 12上的 S1Next-鹅版 v2.5.4 ...

我的服务：
1、op里的waipien，搭配ddns，连回家看动画、电影、管理设备
2、剩下的就是ftp、smb、nfs，简单的文件服务，因为家里老人也不用，所以把原来群晖的照片服务也不用了。
3、最近弄了一个flare，个人导航主页。
4、下载服务是tr、qb-ee、emule、岛国的p2p
打算搞一个广告过滤。

@13号 网盘我搭在**上了，平常就是手机传点文件。
@oskneo 不太明白。我远程桌面到windows也是有点撕裂的画面，不过无所谓。远程linux还是ssh链接把。

高卢鸡

给自己打个广告，就这样简单的流水账瞎写了一下，欢迎大佬指教。

紧那罗

这么折腾....我是一开始就准备虚机安装omv 倒是挺顺利(嗯 特别是我也看到那个帖子不建议lxc安装omv

我装omv直通pcie硬盘就碰到一个坑 就是没注意直通的硬盘和网卡在一个pcie通道上 直通一开机就断网
后来想到了 给直通硬盘换了个插槽就好了

高卢鸡

紧那罗 发表于 2023-6-27 11:37
这么折腾....我是一开始就准备虚机安装omv 倒是挺顺利(嗯 特别是我也看到那个帖子不建议lxc安装omv
...

最近在被工作折磨得死去活来，一直没更新。感谢回复。过段时间我打算把折腾得更多内容写一下。

月千一夜

分享踩坑经历好评
最近也折腾了几天家用服务器，本来也想上PVE，发现服务器硬件太老就算了装了个debian算球
主要就是为了备份iPhone照片，中间也是不少坑

—— 来自 OnePlus KB2000, Android 13上的 S1Next-鹅版 v2.5.2-play

塔奇克马

我的Z270 omv一切正常，还把核显分了一堆vgpu给windows用

极北天琴

第二个图用什么软件话的？

高卢鸡

‭‭‭ 发表于 2023-6-27 17:05
第二个图用什么软件话的？

omv6，我在测试的omv里装的业主这个。主力omv还是5，没升级

高卢鸡

‭‭‭ 发表于 2023-6-27 17:05
第二个图用什么软件话的？

抱歉啊，当时看错了。
第二个图是在网上找的网站，等我去找找。
-------------------
搜了一下，好像没找到一样的，可能是网站倒闭了，那个图我是21年画的。
————————————————
时隔多个月的更新，终于有时间折腾了，不用加班了。
上次说到round3，想按照esxi的搭建方法，hba卡直通vm虚拟机，但是失败了。
经过多次努力，见主楼提到的几个pve论坛的帖子，以及本人在pve论坛的提问，终于搞定了r730xd上直通h330。
https://forum.proxmox.com/threads/r730xd-h330-passthrough-fail.131730/

主要代码如下
lspci查询卡的地址，我这里是03:00，之后是查询厂家和设备代码，我的卡是1000:005f。

lspci -nnk -s 03:00

03:00.0 RAID bus controller [0104]: Broadcom / LSI MegaRAID SAS-3 3008 [Fury] [1000:005f] (rev 02)

设置驱动黑名单

cat /etc/modprobe.d/pve-blacklist.conf

# blacklist  SAS3008
blacklist megaraid_sas

加载vfio驱动，填写查到的卡的厂家代码和设备代码

cat /etc/modprobe.d/vfio.conf

# passthrough SAS3008
options vfio-pci ids=1000:005f
softdep megaraid_sas pre: vfio-pci

重启，查到03:00的设备信息可以看到使用的驱动已经是vfio-pci了

lspci -v -s 03:00

03:00.0 RAID bus controller: Broadcom / LSI MegaRAID SAS-3 3008 [Fury] (rev 02)
        DeviceName: Integrated RAID
        Subsystem: Dell PERC H330 Mini
        Flags: bus master, fast devsel, latency 0, IRQ 255, NUMA node 0, IOMMU group 29
        I/O ports at 2000 [size=256]
        Memory at 97700000 (64-bit, non-prefetchable) [size=64K]
        Memory at 97600000 (64-bit, non-prefetchable) [size=1M]
        Expansion ROM at <ignored> [disabled]
        Capabilities: [50] Power Management version 3
        Capabilities: [68] Express Endpoint, MSI 00
        Capabilities: [a8] MSI: Enable- Count=1/1 Maskable+ 64bit+
        Capabilities: [c0] MSI-X: Enable- Count=97 Masked-
        Capabilities: [100] Advanced Error Reporting
        Capabilities: [1e0] Secondary PCI Express
        Capabilities: [1c0] Power Budgeting <?>
        Capabilities: [148] Alternative Routing-ID Interpretation (ARI)
        Kernel driver in use: vfio-pci
        Kernel modules: megaraid_sas

之后应对intel芯片组的rmrr功能，给pve打relax-intel-rmrr补丁，补丁来自全球最大同性交友网站。
https://github.com/kiler129/relax-intel-rmrr
k大很久没更新了，所以我这里用的内核是5.4.124-1，按照大佬给的方法安装即可。有人hacker了这个仓库，但是我没找到对应我的的pve版本和内核版本。

之后就是例行将zfs pool导入，然后安装docker、tr、qb，想把老omv的设置直接导入新omv，上omv论坛发现官方的一些超能力者不太建议这样，遂重新设置新omv的共享文件夹此处不赘述了，中文界面很简单。
这样算是把esxi宿主更换成pve宿主了，windows2019已安装，openwrt也好了，最重要的omv也好了，可以使用了。
后面就是想有余力的时候，尝试使用lxc功能，把omv的vm更换掉，这是后话了。

高卢鸡

小更一下，也写一下后面的折腾历程。
上一楼提到的打rmrr补丁，pve官方在 6.2.16-13-pve内核之后已经将补丁patch到普通内核了，不需要用户自己操作了。当然kiler也好久没更新了，我后来用是Aterfax fork的。
近一年没有尝试将omv换到lxc上，但是本着不知哪里看来的“每个功能单独在一个虚机里，方便排查问题”，大概是这个意思吧，我把aria2的功能放在了debian模板的lxc里。
过程就不细表了，只说lxc要用nfc挂载nas主系统omv的盘，
1.不勾选非特权模式
2.这个语句到lxc配置文件里，也就是设定apparmor的白名单

1. lxc.apparmor.profile: lxc-container-default-with-nfs

复制代码

添加一个lxc-container-default-with-nfs，参照lxc-default-cgns

1. # Do not load this file.  Rather, load /etc/apparmor.d/lxc-containers, which
   
2. # will source all profiles under /etc/apparmor.d/lxc
   
3. 
   
4. profile lxc-container-default-with-nfs flags=(attach_disconnected,mediate_deleted) {
   
5.   #include <abstractions/lxc/container-base>
   
6.   # the container may never be allowed to mount nfs*.  If it does, it
   
7.   # will remount the host's devpts.  We could allow it to do it with
   
8.   # the newinstance option (but, right now, we don't).
   
9.   deny mount fstype=devpts,
   
10.   mount fstype=cgroup -> /sys/fs/cgroup/**,
    
11.   mount fstype=nfs*,
    
12.   mount fstype=rpc_pipefs,
    
13. }

复制代码

最近发现了alpine linux，介绍是一个轻巧的发行版，适合用来作为docker镜像、路由器等操作系统。整好pve的lxc模板里有alpine的模板，遂开始折腾。
建了一个以alpine为系统的lxc跑aria2，具体步骤教程挺多的，比较简单。
后面根据同步相册、录音文件等功能的需要（每次不管是线连手机还是微信传，大量文件还是不方便），搭建了syncthing服务器。
但是我碰到一个坑，后来才发现，浪费了很多时间。
alpine软件库里有syncthing，安装之后可以直接

1. rc-upate add syncthing
   
2. rc-service syncthing start

复制代码

调整config.xml里的网络地址为127.0.0.1:8384，改为0.0.0.0:8384
一通操作下来发现webui始终访问不了，但是我在win系统下直接点开exe就打开了webui。
经过反复尝试，终于发现/etc/init.d/syncthing里

1. command_user="${SYNCTHING_USER:-syncthing}"
   

复制代码

这条命令，用syncthing用户启动程序，但是我没有建立这个用户，查询passwd文件，发现是sbin/nologin没有启用状态。
遂启用这个用户，这次终于没有问题了。
问题原因是，openrc启动syncthing使用syncthing用户，但是我没有建立，所以不知道有这个用户，root下

1. 
   
2. ~ # syncthing --paths
   
3. Configuration file:
   
4.         /root/.local/state/syncthing/config.xml
   
5. 
   
6. Device private key & certificate files:
   
7.         /root/.local/state/syncthing/key.pem
   
8.         /root/.local/state/syncthing/cert.pem
   
9. 
   
10. GUI / API HTTPS private key & certificate files:
    
11.         /root/.local/state/syncthing/https-key.pem
    
12.         /root/.local/state/syncthing/https-cert.pem
    
13. 
    
14. Database location:
    
15.         /root/.local/state/syncthing/index-v0.14.0.db
    
16. 
    
17. Log file:
    
18.         -
    
19. 
    
20. GUI override directory:
    
21.         /root/.local/state/syncthing/gui
    
22. 
    
23. CSRF tokens file:
    
24.         /root/.local/state/syncthing/csrftokens.txt
    
25. 
    
26. Default sync folder directory:
    
27.         /root/Sync
    

复制代码

依然按照root用户的配置去修改，当然会出错。
启用syncthing用户，或者直接root用户运行（官方不建议这样）。
然后就可以见到syncthing webui了。手机上安装app后方便同步，但是ios上没有官方客户端，有个第三方应用Möbius Sync，我还找到了开发者在syncthing论坛的帖子，但是这个应用需要38元才能解锁完全版。
顺便提一句，用alpine模板建立的lxc，真的很小，备份文件才30mb；对比debian模板建立的lxc，近300mb。

123485k

话说折腾机架要预留多少空间，新房子装修想要预留空间专门放机架隔离噪音

ashunicorn

123485k 发表于 2024-8-3 11:11
话说折腾机架要预留多少空间，新房子装修想要预留空间专门放机架隔离噪音 ...

取决于你的设备，如果要上服务器建议留60的深度，宽度都是标准的48-49厘米

moondigi

其实很多时候是简单问题复杂化，像syncthing这种有静态编译单文件的我都是systemd就搞定了

黄油indie

我觉得理路由还是单独的硬件来做比较好

高卢鸡

123485k 发表于 2024-8-3 11:11
话说折腾机架要预留多少空间，新房子装修想要预留空间专门放机架隔离噪音 ...

机架式的服务器、网络设备宽度一般是标准的19英寸（约为48.26厘米）

高度也是通用的尺寸模数
1U等于1.75英寸（约4.445厘米），这个高度是基于标准19英寸机架的规格。

一般网络设备的机柜深度400mm、450mm、600mm
存储服务器机柜深度≥800mm
1U、2U、4U和42U服务器，看完秒懂！
网络机柜和服务器机柜的区别
我也是网上搜了一下，有预算可考虑大牌子比如图腾等
高度看你的需要。
贴一下我的机柜18U，从上到下依次是1u的交换机、2u的服务器、4u的服务器机箱，插线板，ups及杂物。

高卢鸡

moondigi 发表于 2024-8-3 13:01
其实很多时候是简单问题复杂化，像syncthing这种有静态编译单文件的我都是systemd就搞定了 ...

alpine linux软件包里有相应的syncthing，采用的openrc启动也有相应的启动文件，但是用户设定我没有做好功课。

高卢鸡

极北天琴 发表于 2023-6-27 17:05
第二个图用什么软件话的？

当时没有找到，24年初我发现了一个网站
https://www.drawio.com/
这个网站可以在线画，也有对应的软件可下载。
今年初绘制的拓扑图，最近又增加了两个lxc。