国庆期间自组NAS遇到过的坑
本帖最后由 fat 于 2020-10-13 23:19 编辑国庆时在二手区收了个HPE gen10服务器，继而又眼馋换了gen10 plus。
期间遇到过无数的坑，还好最后都解决了。
分享共勉，欢迎交流
坑1：群晖系统的虚拟机VMM套件启动失败
是群晖VMM套件不支持AMD CPU的虚拟化的锅。
虽然官方文档提及VMM套件2.5.2-9711增加AMD支持，但实测gen10 的x3612cpu仍然无法用。
坑2：ESXi系统装黑群晖时，搜索不到群晖主机
看了n多教程，实验了n次后，基本肯定关键有3个：
1）虚拟机的网卡类型一定要选E1000e
2）ESXi的虚拟网络里，交换机要选择“混合模式”（当然，直通网卡除外）
3）引导文件的虚拟硬盘要在SATA控制器0，而实际用的硬盘要在SATA控制器1
坑3：西数500G m2盘用PCIE转接卡，在Gen10 plus上无法使用
另外一个帖子有提过，弄了好久。
最终发现换个西数1T盘就能用了……
不知道是Gen10 的锅还是西数的锅。
坑4：黑群晖在ESXi里弄了硬盘直通后，认不出硬盘
原因推测是，此情况下黑群晖有了3个SATA控制器（引导盘0，虚拟系统盘1，直通盘2）
此时需要修改黑群晖的引导盘设置，告诉系统各个SATA控制器的相应接口数量。
我参考了这位大佬：https://blog.ggrarea.cn/archives/36289.html
把SataPortMap改为224
把DiskIdxMap改为000204就好了。
目前形态是ESXi做宿主系统，
跑黑群晖nas、LEDE软路由，win10跑脚本和下载。
硬盘直通给群晖、网卡直通软路由。可以跑满500Mbps，非常畅快
http://wx3.sinaimg.cn/large/69730d63gy1gjo44at36qj223o0sb7dz.jpg
本帖最后由 长末 于 2020-10-13 23:42 编辑
看起来好多坑。不想太费心的还是nas，htpc，路由器分开用吧。
话说，50m宽带是不是跟讲究性能的软路由没啥关系了，自己有科学渠道硬路由。传说中的广告控制到底好用不
—— 来自 Realme RMX1901, Android 10上的 S1Next-鹅版 v2.4.3 esxi虚拟机的虚拟硬盘io巨慢，搜了文档Google一圈把方法都试了也没解决遂放弃esxi str007 发表于 2020-10-14 00:42
他这是自己折腾自己，非要在虚拟机里面装群晖，实际上非常简单
之前我也研究过，无论是unraid还是exsi，虚拟群晖为了性能和必要都得直通硬盘过去，没享受到对应的阵列效果。唯一的好处就是allinone集成，对应起来对我来说的槽点还挺多的。
1、集成其他nas。多个nas同一实体机，除了体验下多个系统外，不是按照功耗和性能天然分类，到达平衡状态；也不是异地分离保存数据。
2、集成软路由。真用软路由这个倒挺好，除了一人犯错全家断网这个缺点。
3、集成htpc。现在有多少人用htpc是一回事，把硕大的机器摆在客厅电视位，感观和噪音上不提，配套的万兆光纤对应线缆和交换机是个巨大负担。不上万兆？千兆都满足不了hdd的速度，更何况加了缓存or上ssd的nas。不谈网速，直通显卡网卡阵列卡带来的pcie通道与ssd撞车也是个问题。
4、各类服务器。最有用技能，但家用环境（没公共ip，上传带宽小，外网暴露个网站端口都有可能警察上门的环境）用的上的少。
最后，如果有钱，上面的都不是问题。上面的很多问题产生于没钱上正经装备，用各种旧货淘汰货凑合上。
—— 来自 Realme RMX1901, Android 10上的 S1Next-鹅版 v2.4.3 自组nas 建议还是 intel，虚拟化支持更好，而且待机功耗比较低
网卡这些也是intel比较方便，当然 有一些cisco之类的 网卡支持更多的私有虚拟化特性也不错，不过价格起飞 你们太折腾了。我就两盘位的白群晖弄弄行了 长末 发表于 2020-10-14 01:24
之前我也研究过，无论是unraid还是exsi，虚拟群晖为了性能和必要都得直通硬盘过去，没享受到对应的阵列效 ...
嗨呀，我要是有钱，我直接买顶级白群晖，一切就太平了。
本帖最后由 fat 于 2020-10-14 20:34 编辑
refo2613 发表于 2020-10-14 08:13
家里丢台服务器？
给大佬跪了
不是大型服务器，体积比一般自组HTPC都要小。HPE微型服务器gen10 ，淘宝两千多。
现在升级了gen10 plus，顶配就5800。比电脑还是便宜得多的。
不过做工是比星际蜗牛等矿渣要好，有至强CPU、ECC内存。稳定性没毛病。
好多大象啊 发表于 2020-10-14 10:25
自组nas 建议还是 intel，虚拟化支持更好，而且待机功耗比较低
网卡这些也是intel比较方便，当然 有一些cis ...
虚拟化真是牙膏好。所以我最后还是把gen10出了升级plus了…… fat 发表于 2020-10-14 20:33
虚拟化真是牙膏好。所以我最后还是把gen10出了升级plus了……
服务器市场 企业自身水平不行的还是得买牙膏，而且往往这些企业还有 ibm的ppc以及小型机中型机在用。
水平足够好的，自研或者定制 arm，价格便宜量又多
amd出货量少bug就修的少，驱动什么的也经常不全，特别是主板和网卡 raid卡之类的驱动问题，vtd都有问题 几年前也折腾过allinone，用的是gen8。现在已经放弃了，鲁棒性较弱，一崩全崩，恢复起来麻烦，现在gen8就装了个黑群。
—— 来自 Xiaomi Mi 10, Android 10上的 S1Next-鹅版 v2.4.3 百猪夜行 发表于 2020-10-14 20:42
几年前也折腾过allinone，用的是gen8。现在已经放弃了，鲁棒性较弱，一崩全崩，恢复起来麻烦，现在gen8就装 ...
容易崩的是哪个部分？硬盘？
我也未雨绸缪一下。。。 之前是用freenas做底层系统, 再在上面跑虚拟机和docker
用了一年发现在拓展和增量方面只能说差强人意, 最近打算跳车到OMV了
一直没想过装群辉, 动手的过程感觉可以学到不少东西不是么 看了半天感觉LZ就是被主板给坑了，不知道GEN10用的什么板子，不过ESXI对超微系支持比较好一点。另外超微系部分带板载SAS接口的向下兼容SATA，在ESXI上可以作为独立硬盘使用，既可以独立做直通，也可以作为存储空间使用
话说默认虚拟网卡不就是E1000么 黄金时代 发表于 2020-10-15 07:18
看了半天感觉LZ就是被主板给坑了，不知道GEN10用的什么板子，不过ESXI对超微系支持比较好一点。另外超微系 ...
没错，默认的E1000不行，必须是E1000e
不知道是什么玄学。
对了，现在是直通硬盘给了群晖。群晖里能看到SMART信息。
但是点群晖里的“调校”，就是测试硬盘性能的，不知道为什么没有反应。 折腾是科技第一推动力！ 我看现在STH论坛上不少老外转向PVE了，貌似后者性能好点 luguozmy 发表于 2020-10-15 04:10
之前是用freenas做底层系统, 再在上面跑虚拟机和docker
用了一年发现在拓展和增量方面只能说差强人意, 最近 ...
omv就是套了个壳的debian，用起来非常顺手
—— 来自 Xiaomi Mi 10, Android 11上的 S1Next-鹅版 v2.4.3 搭车求个磁盘减震的心得…
机箱是蜗牛 B 款，只装了 2 块 1T 的旧盘（7200RPM），系统 OMV 装 msata
电源用的 Zumax，风扇自己换的，不接 HDD 的时候还好，装上 HDD 起飞…我家不临街很安静，放客厅噪音都很明显…
我买了两个服务器的硬盘托架，买了个装修汽车用的那种绒面不干胶的贴纸，再上个带垫圈的螺丝，能做到感觉到头了（都还在路上），效果 chiphell 有人说有用，不知道实际效果如何。
机箱下面用的超市买的家具用的脚垫…
不知道还有什么可以做的…除了换盘 没搞过虚拟机。可否nas只有一个网口搞虚拟机软路由，本机用群晖（懒得重新弄了）？感觉j3455只跑个群晖有点浪费 HPE的小服务器噪音水平怎么样呀。前两年手贱搞了个1u Proliant g8，那风扇噪音叫一个酸爽 tyx776 发表于 2020-10-29 12:27
没搞过虚拟机。可否nas只有一个网口搞虚拟机软路由，本机用群晖（懒得重新弄了）？感觉j3455只跑个群晖有点 ...
一个网口你不是要用网管交换机配vlan吗？
—— 来自 OnePlus HD1900, Android 10上的 S1Next-鹅版 v2.4.3 尼特geek 发表于 2020-10-29 16:37
一个网口你不是要用网管交换机配vlan吗？
—— 来自 OnePlus HD1900, Android 10上的 S1Next-鹅版 v2.4. ...
你是说网口接交换机吧？只有一个网口当然只能这么接啊。所以我问是否能群晖加上虚拟机的软共用这一个网口？
—— 来自 Xiaomi M2006J10C, Android 10上的 S1Next-鹅版 v2.4.3 放弃群晖这个坑货可破
群晖不支持virtio，需要特别打进去驱动。
omv不香吗。
—— 来自 Xiaomi MIX 2S, Android 10上的 S1Next-鹅版 v2.4.3 每次看讨论nas都弄不懂群晖系统究竟哪里那么好，都自组硬件了还装它 ffggty 发表于 2020-10-29 18:42
每次看讨论nas都弄不懂群晖系统究竟哪里那么好，都自组硬件了还装它
简单啊，鼠标点点点就行，其他的多少要用用 CLI omv确实可以，4.0插件更多点，5.0的话很多都要用docker
家用的话freenas不是很方便
—— 来自 OnePlus HD1900, Android 10上的 S1Next-鹅版 v2.4.3 tyx776 发表于 2020-10-29 17:32
你是说网口接交换机吧？只有一个网口当然只能这么接啊。所以我问是否能群晖加上虚拟机的软共用这一个网口 ...
自然是可以的。
我现在就是esxi系统，里面塞了2个虚拟机：win10+群晖。都是共用一个网口的。 fmonion 发表于 2020-10-29 12:39
HPE的小服务器噪音水平怎么样呀。前两年手贱搞了个1u Proliant g8，那风扇噪音叫一个酸爽 ...
目前我用还好。
低速下声音比硬盘小得多。
全速声音比较大，但很少会满负荷吧。 家用虚拟化只推荐esxi unraid PVE，其他真不方便
—— 来自 Xiaomi M2006J10C, Android 10上的 S1Next-鹅版 v2.4.3 家用虚拟化只推荐esxi unraid PVE，其他真不方便
—— 来自 Xiaomi M2006J10C, Android 10上的 S1Next-鹅版 v2.4.3 tyx776 发表于 2020-10-29 17:32
你是说网口接交换机吧？只有一个网口当然只能这么接啊。所以我问是否能群晖加上虚拟机的软共用这一个网口 ...
应该是可以的，我的机子同一个lan口就有三个地址，一个是pve的管理ip，一个是openwrt的虚拟网卡，一个是omv的虚拟网卡。
—— 来自 OnePlus HD1900, Android 10上的 S1Next-鹅版 v2.4.3 fat 发表于 2020-10-29 20:00
自然是可以的。
我现在就是esxi系统，里面塞了2个虚拟机：win10+群晖。都是共用一个网口的。 ...
哦哦，有相关教程吗？
—— 来自 Xiaomi M2006J10C, Android 10上的 S1Next-鹅版 v2.4.3 tyx776 发表于 2020-10-29 23:11
哦哦，有相关教程吗？
—— 来自 Xiaomi M2006J10C, Android 10上的 S1Next-鹅版 v2.4.3 ...
我基本是跟着这个教程走的：
https://www.bilibili.com/video/BV1gE411Y7fH?from=search&seid=3309490215725970010
有个坑是，esxi的管理网口和群晖网口共用的话，
要打开网口的“混淆模式”，否则群晖安装时候引导不了。
这个点我弄了好久才知道…… 放弃群晖这个垃圾可以解决大部分问题
—— 来自 Xiaomi MIX 2S, Android 10上的 S1Next-鹅版 v2.4.3 其实Win2016+HyperV用起来挺方便的，就是存储池性能太拉胯了…
—— 来自 Xiaomi Redmi K20 Pro Premium Edition, Android 10上的 S1Next-鹅版 v2.4.3 自组nas可以买那些静音机箱，市面上一大堆，还不贵，基本没什么声音
—— 来自 Xiaomi Mi 10, Android 11上的 S1Next-鹅版 v2.4.3 mingminlun 发表于 2020-10-30 14:16
自组nas可以买那些静音机箱，市面上一大堆，还不贵，基本没什么声音
—— 来自 Xiaomi Mi 10, Android 11 ...
静音机箱同时能有 4 个以上 3.5 HDD 位的恐怕不多也不便宜吧？
页:
[1]
2