生命在于折腾（误），家用娱乐中心（误）esxi折腾记一更

高卢鸡 · 发表于 2018-7-16 23:55

星野あさみ发表于 2018-7-16 16:16
配置+vmdk全导。有PCI直通设备的话估计麻烦

谢谢，下次去试试玩。

—— 来自 Sony G8441, Android 8.0.0上的 S1Next-鹅版 v2.0-play

高卢鸡 · 发表于 2018-7-22 16:52

更新一下使用情况
因为用wndr4000作ap，关掉dhcp，然后虽然能连上wifi正常上网，但是进不了wndr4000的管理界面。
按照网上的一些方法，拔掉ap的网线，然后无线连接不上，更别提进管理界面了。只接一台主机，然后访问，失败，然后ping都不行，应该是跟前面接无线一样，没有路由无法分配地址。
接上lede，能连网了，但是一样访问不了界面。
最后重置了wndr4000的设置才修好，然后关掉dhcp，这次倒是可以在ap状态进入wndr4000的管理界面了，不知道以后会不会再出问题。
还一个问题是esxi+lede运行了1周左右，然后打开esxi里的另一台虚拟机，能连上局域网，但是连不上internet，各种重启虚拟机，lede，esxi均失败。直到后面提到的拆机子对调风扇，外加重置wndr4000，这一系列折腾完毕，又好了，正常连上internet了

吐槽一下赤兔马的风扇灯，现在的电脑商有一点不好，全都是灯灯灯，还tm没法关。msi的350m就是只有双色和闪烁两种模式，好在主板镶边的灯不亮，但是赤兔马的风扇灯可是不行了。因为主机摆放的问题，正好把侧透那面冲着走廊，晚上必须关门，要不然惨惨的红光

所以我就把另一个系统风扇和散热器风扇对调了，这样好一点。

Kryss · 发表于 2018-7-23 00:34

blackeyed 发表于 2018-7-15 21:58
你这不考虑性价比就没意思了啊

我本来一千多块钱的主板可以解决的事情, 你要我上五六千的主板……而且IT ...

X99+6800K比这个贵吧

blackeyed · 发表于 2018-7-26 15:37

我的6850K+X99组好了

现在在折腾esxi了, 遇到两个问题, 问一下大家
1 esxi 6.7 在没有vcenter的情况下, 有办法开启链路聚合吗?
2 esxi 6.7 在没有vcenter的情况下, 是否能添加一个纯粹的虚拟万兆网卡端口 (并不对应物理端口, 用来联系虚拟机lede和虚拟机nas之间的通信)

Kryss · 发表于 2018-7-26 15:45

blackeyed 发表于 2018-7-26 15:37
我的6850K+X99组好了

现在在折腾esxi了, 遇到两个问题, 问一下大家

EXSi的虚拟网卡竟然不是万兆？Hyper-V的都是万兆

blackeyed · 发表于 2018-7-26 16:27

Kryss 发表于 2018-7-26 15:45
EXSi的虚拟网卡竟然不是万兆？Hyper-V的都是万兆

这个我刚找到解决方法了

因为我之前在虚拟机系统选择的是其他linux, 所以没让我用万兆……
选择某些指定版本的就可以用了

但是链路聚合还没解决……

高卢鸡 · 发表于 2018-7-28 18:29

本帖最后由高卢鸡于 2018-7-28 22:42 编辑

blackeyed 发表于 2018-7-26 16:27
这个我刚找到解决方法了

因为我之前在虚拟机系统选择的是其他linux, 所以没让我用万兆……

用koolshare的lede的话，选其他linux 64bit就可以选择万兆网卡了。
我的千兆网卡不用选，自动配置的就是。
ms单独建立的虚拟网卡是管理用的，给虚拟机的虚拟网卡只用建立端口组就行，然后在虚拟机的设置里选择vmxnet3，就是万兆。

blackeyed · 发表于 2018-7-28 20:00

万兆和链路聚合都解决了, 后者一定要vCenter……vCenter对资源要求很高, 好在不用一直开着

但是现在经常配置啊配置啊, ESXi的网页端就报错了, 503了……很莫名, 不知道怎么恢复, 只能重装

高卢鸡 · 发表于 2018-7-28 23:02

blackeyed 发表于 2018-7-28 20:00
万兆和链路聚合都解决了, 后者一定要vCenter……vCenter对资源要求很高, 好在不用一直开着

但是现在经常配 ...

web端应该就这样，多次配置就崩了。好在设置好了基本就不用动了。
vcenter我还没试过。

更新一下购买寨卡的情况。

买了个四口的i350l寨卡，200多。
esxi里认出了四张网卡，地址是xxx.0、xxx.1、xxx.2、xxx.3
我在vSwitch0里把四个网卡都添加到上行链路了。
然后测试发现没有任何卵用，接到几个口里的设备都无法上度娘。
经过网上的搜索，发现这样好像不对，需要每个网卡对应一个vSwitch，对应一个VM Network。
接到lede 2.19里，然后lede启动了，但是无法通过web访问，ping也无法成功。

决不气馁，继续尝试。
这次先用主板自带的小螃蟹和一个i350配置好lede和esxi，顺利接入internet，然后关机，只添加一个i350网卡（口）。
这次顺利进入web，也能连上度娘。

关掉lede，再添加一个350网卡（口），启动。这次新添加的网口接的设备无法连上度娘，ping路由也失败。
想想是不是b350主板的问题，导致只能用最多三个千兆网卡呢。或者是自带的小螃蟹捣乱？

这次我关掉了小螃蟹，只用买的i350。然后经过一番摸索，发现任意两个网卡（口）都可以正常连上路由并上网，也就意味着，一个是管理口接管理主机，一个是wan口接猫。只要添加第三个卡，接到这个卡上的设备就无法顺利连上路由器。

没有测试如此情况下局域网内设备互联。
如果打开小螃蟹，再导入两个350进lede，就可以一个wan，两个lan（其中一个管理口）

搜到一个这个帖子http://koolshare.cn/thread-138502-1-1.html
虽然我的网卡不是这样，起码esxi里能认出4个，但是进虚拟机的有且只能由两个，进了第三个也没用，四个都进lede直接无法使用。
但是网上那么多成品软路由卖，都是4、5个口啊。

不知道是我的在esxi里的设置问题，还是本身卡的问题呢？发去koolshare暂时也没有大佬提出解决办法。

blackeyed · 发表于 2018-7-29 04:48

你楼上这一长段我就没看明白, 写得太乱

我现在的口比你还多
主板自带两个千兆, i208 i211
四口千兆 i350t4
双口万兆 x540t2

八个口全部正常工作……
而且我也没有一个口一个vSwitch
我是四口千兆用一个vSwitch聚合
双口万兆都走直通个LEDE
主板自带的一个vSwitch配置专用, 一个直通给LEDE做wan

也就是说我LEDE里一共五个口
1 vSwitch配置
2 vSwitch四口千兆聚合
3 直通万兆
4 直通万兆
5 主板自带直通wan用

高卢鸡 · 发表于 2018-7-29 20:38

blackeyed 发表于 2018-7-29 04:48
你楼上这一长段我就没看明白, 写得太乱

我现在的口比你还多

你的4口350t4哪里买的？

寨卡我退了。

blackeyed · 发表于 2018-7-29 21:30

高卢鸡发表于 2018-7-29 20:38
你的4口350t4哪里买的？

寨卡我退了。

惠达科技8888
闲鱼ID

blackeyed · 发表于 2018-7-29 22:34

又躺过一个坑

之前没想到, 虚拟机里的黑群晖没有办法获得SMART, 这可太重要了……不然RAID1都白做了

研究了一下, 要SMART信息必须买卡, 然后我买了一张9260……发现也不行……
这卡必须硬raid, raid以后也就没有SMART信息了……
现在又再买一张lsi 9207……妈耶

我还特意为了能用8个盘以上, 找了个多sata的主板, 现在这块主板有10个sata
结果一个都用不上了……

好在PCIE的执着没浪费, 因为Lsi卡要用PCIE
我现在的PCIE分配是这样的

CPUX8 Lsi卡
主板X1 显卡
主板X4 千兆四口卡
CPUX8 万兆双口卡
CPUX8 万兆双口卡
CPUX8 备用

X99的平台除了workstation, 就找到这么一张华硕主板可以把PCIE分成这样

我没有显卡直通需求, 这样的话, 我感觉我所有的坑应该都趟完了
现在剩下就是对EXSi配置啊配置啊就GG了非常不放心……毕竟这台电脑之后做主路由器用……好怕不稳定

deathomega · 发表于 2018-7-29 23:13

blackeyed 发表于 2018-07-29 22:34:27
又躺过一个坑

之前没想到, 虚拟机里的黑群晖没有办法获得SMART, 这可太重要了……不然RAID1都白做了

研究 ...

大佬这么多万兆。。。。

smart貌似没办法解决的。。。。

-- 来自能手机投票的 Stage1官方 iOS客户端

blackeyed · 发表于 2018-7-29 23:20

deathomega 发表于 2018-7-29 23:13
大佬这么多万兆。。。。

smart貌似没办法解决的。。。。

用IT的HBA卡扩展SATA是可以在群晖里有SMART的

我就是为了万兆才折腾这套机器的啊……
如果全部买成品的话
路由器1000
万兆交换机5000
万兆群晖8盘位7500

我这套
6850K板U 3000
内存16G 1000
电源 600
显卡 150
散热器风扇 800
机箱 800
硬盘 400
Lsi卡 200
千兆网卡 200
万兆网卡 500
一共 7600

剩了6000块, 性能强大很多, 扩展性也强, 还能干点别的……

deathomega · 发表于 2018-7-30 09:21

blackeyed 发表于 2018-07-29 23:20:14
用IT的HBA卡扩展SATA是可以在群晖里有SMART的

我就是为了万兆才折腾这套机器的啊……
如果全部买成品的 ...

跑什么东西要万兆啊。。。

-- 来自有消息提醒的 Stage1官方 iOS客户端

高卢鸡 · 发表于 2018-7-30 09:51

引用第94楼blackeyed于2018-07-29 23:20发表的 :
引用:deathomega 发表于 2018-7-29 23:13大佬这么多万兆。。。。smart貌......

@blackeyed
一个是省钱，一个是性能强，这就是折腾的乐趣。
另外吐槽吐槽群晖的盘位比盘贵，不过谁让人家卖的是服务呢。
另外你有了软路由了，群晖的Quickconnect就不需要了。
从你选的配件看稳定性其实问题不大。
我已经跑了2周了，各种折腾，参见上面。正常跑的话时间有8天。只碰到过一次虚拟的win10死掉，还是因为折腾完了重新开机。运行稳定后还没遇到过问题。再看看网上的风向，稳定性真不用操心，毕竟vmware指着这个技术赚钱呢，虽然ESxi只是个免费版。
另外raid卡这个问题你去网上多搜搜。我也打算买个LSi的卡，毕竟b350M的SATA口只有4个，还无法支持休眠和smart。

----发送自 Sony G8441,Android 8.0.0

blackeyed · 发表于 2018-7-30 11:59

deathomega 发表于 2018-7-30 09:21
跑什么东西要万兆啊。。。

-- 来自有消息提醒的 Stage1官方 iOS客户端

NAS啊……
你随便用用的话, 千兆是无所谓

但是你要求高一点, 甚至把NAS当本地盘用的话……
我和你说哦, 别看千兆有一百兆的连续读写速度, 但是千兆网络的4K性能只有本地盘的1/10……这根本没法忍受的
我也是用了才知道这个差这么多
后来我查了很多资料
基本上4K读写在千兆是1/10性能, 在万兆是1/2, 在四万兆网络能基本和本地盘相当
所以那些服务器上的云盘之间应该普遍都是四万兆互联, 不然性能就被网线瓶颈了

blackeyed · 发表于 2018-7-30 12:04

高卢鸡发表于 2018-7-30 09:51
@blackeyed
一个是省钱，一个是性能强，这就是折腾的乐趣。
另外吐槽吐槽群晖的盘位比盘贵，不过谁让人家 ...

关键是我怕ESXi崩, 现在ESXi在我这崩的原因我都还不知道, 这就很让人不踏实……
就是不知道做了什么, 开机以后ESXi的网页配置端就进不去了, 也没查到怎么能解决或者恢复起来

无法休眠还能接受, 没有SMART就不行了, 本来NAS上就要做RAID1来保障数据的, 结果没有SMART监控警报, 还不是白搭……

ESXi为什么不搞SATA直通, 真想不通, 这应该需求很普遍

deathomega · 发表于 2018-7-30 12:30

blackeyed 发表于 2018-7-30 11:59
NAS啊……
你随便用用的话, 千兆是无所谓

哎呦卧槽，我没注意这个。。。你说的是4K读写对吧，不是那个4K视频

我一直看汇聚以后的速度硬盘根本跑不满，所以也就算了……

看来有上万兆的理由了

deathomega · 发表于 2018-7-30 12:31

blackeyed 发表于 2018-7-30 12:04
关键是我怕ESXi崩, 现在ESXi在我这崩的原因我都还不知道, 这就很让人不踏实……
就是不知道做了什么, 开 ...

我跟你港，不是专业网管或者LINUX选手，家用别乱用esxi。说真的。。。而且也别做raid。

驱动问题不得不抛弃HV那两说

blackeyed · 发表于 2018-7-30 12:42

deathomega 发表于 2018-7-30 12:30
哎呦卧槽，我没注意这个。。。你说的是4K读写对吧，不是那个4K视频

我一直看汇聚以后的速度硬盘根本跑不 ...

不过我用的是SSD, 之前也考虑过SSD做缓存, 但是那太看命中率了, 而且SSD做读写缓存的话你需要两张SSD
我后来琢磨来琢磨去, 我觉得何必要管命中率呢
我直接把两张SSD做个RAID0, 容量两倍, 速度两倍
然后用群晖自己的增量备份功能, 把两张SSD盘的数据都同步备份到HDD上, 不就好了, 要什么缓存……我日常数据直接在SSD上做, 不日常了就搬运到HDD去

另外白群晖要万兆必须要有PCIE槽……我不知道你是白还是黑
另外就算4K读写不重要, 万兆以后每秒400-800MB的大文件读写速度还是非常爽的……

blackeyed · 发表于 2018-7-30 12:45

deathomega 发表于 2018-7-30 12:31
我跟你港，不是专业网管或者LINUX选手，家用别乱用esxi。说真的。。。而且也别做raid。

驱动问题不得不 ...

ESXi我都折腾差不多了……先用用看吧
RAID是肯定要做的, 用群晖自己的软RAID, 数据还是很重要的, 这也是为什么要折腾SMART

我现在的盘位配置是
1.6T SSD X2 RAID0
8T HDD X4 RAID10

日常使用空间 1.6TX2 = 3.2T
非日常使用空间 8TX2-1.6TX2(同步备份SSD) = 12.8T

deathomega · 发表于 2018-7-30 13:28

blackeyed 发表于 2018-7-30 12:42
不过我用的是SSD, 之前也考虑过SSD做缓存, 但是那太看命中率了, 而且SSD做读写缓存的话你需要两张SSD
我 ...

黑裙，G8开的HV，然后黑裙2个，一个做增量，一个做各种协议。
剩下的开了一堆ubuntu做ap control，做homeassistant，做爬虫。

moondigi · 发表于 2018-7-30 13:32

esxi搞不来最开始的时候用也是莫名崩，后来直接linux跑了一段时间后因为有windows和显卡需求就敲定hyper-v方案了，反正跑的linux软路由不需要显卡

deathomega · 发表于 2018-7-30 13:32

blackeyed 发表于 2018-7-30 12:45
ESXi我都折腾差不多了……先用用看吧
RAID是肯定要做的, 用群晖自己的软RAID, 数据还是很重要的, 这也是 ...

你拿来做r0可以，提速。R1没必要了，Raid在换盘重建的时候容易带坏另外一个块盘。。也不是说必坏，而是相对来说故障率会上去一点，另外没有防逻辑错误的功能。因为家用级，没有不宕机的需求，所以离线备份更重要。

我建议你下面分2个卷，一个做增量，不需要Raid也行，一个非日常使用空间…你就做个R0也行吧…

blackeyed · 发表于 2018-7-30 13:54

deathomega 发表于 2018-7-30 13:32
你拿来做r0可以，提速。R1没必要了，Raid在换盘重建的时候容易带坏另外一个块盘。。也不是说必坏，而是相 ...

R1恢复怎么会坏……又不是R5
再说我也不会去恢复, 如果R1里有一块坏了, 就先用移动硬盘把所有好盘的内容复制出来
替换上新盘, 新盘老盘都格式化重新R1, 再把移动硬盘的复制回去……

混乱中立搅屎棍 · 发表于 2018-7-30 14:01

家用r1不如定时备份，群晖不是有hyperbackup
软件备份灵活多，要是以后换了个大容量盘可以增量备份原本的小容量盘，还不用两个盘一起转
再不济还有杀牛刀rsync

高卢鸡 · 发表于 2018-7-30 14:09

blackeyed 发表于 2018-7-30 12:04
关键是我怕ESXi崩, 现在ESXi在我这崩的原因我都还不知道, 这就很让人不踏实……
就是不知道做了什么, 开 ...

我暂时没你那么多需求，也就在尝试直通USB控制器和PCIe时碰到过ESxi进不去了。后来不折腾显卡直通就不需要这么麻烦了。
ESxi的web界面崩过几次，重新开页面就好了。
感觉上还是没有到太多问题，重装也方便，所以我选的ESxi，虚拟机设置都在单独的虚拟机文件夹里，跟ESxi本身关系不大。

—— 来自 Sony G8441, Android 8.0.0上的 S1Next-鹅版 v2.0.2-play

deathomega · 发表于 2018-7-30 14:44

blackeyed 发表于 2018-7-30 13:54
R1恢复怎么会坏……又不是R5
再说我也不会去恢复, 如果R1里有一块坏了, 就先用移动硬盘把所有好盘的内容 ...

港真。。不如离线备份

黑暗之凰 · 发表于 2018-7-30 20:44

blackeyed 发表于 2018-7-30 13:54
R1恢复怎么会坏……又不是R5
再说我也不会去恢复, 如果R1里有一块坏了, 就先用移动硬盘把所有好盘的内容 ...

R1的恢复。。就是拷一份到空盘啊。。。

软raid性能完全打不过9260。  要SMART信息完全可以写storcli/Megaraid脚本。

万兆网络。。有没有全开jumbo frame？性能差很多的。

你这套软路由，  pps估计也就是够用，根本不了解ASIC的威力。。

配置好了做好镜像备份就是了，  vcenter这个版本很烂，开不起来是经常的，做好镜像。。再说可以起在其他机器上啊。。

高卢鸡 · 发表于 2018-7-30 21:48

黑暗之凰发表于 2018-7-30 20:44
R1的恢复。。就是拷一份到空盘啊。。。

软raid性能完全打不过9260。要SMART信息完全可以写storcli/Meg ...

求大佬指点写脚本的方法

—— 来自 Sony G8441, Android 8.0.0上的 S1Next-鹅版 v2.0.2-play

黑暗之凰 · 发表于 2018-7-31 02:08

高卢鸡发表于 2018-7-30 21:48
求大佬指点写脚本的方法

—— 来自 Sony G8441, Android 8.0.0上的 S1Next-鹅版 v2.0.2-play ...

就Megacli 搜索吧。。

突然想到可以用MSM 。。
随便搜了搜参考 http://www.vixual.net/blog/archives/60

blackeyed · 发表于 2018-7-31 03:17

vCenter最傻逼的是, 配置好以后, 虚拟机上的一些设置就必须要进vCenter改

但是vCenter要占用10G内存, 我开着vCenter就开不起来其他虚拟机了, 内存不够

那我只能开vCenter, 配置虚拟机, 关vCenter, 开虚拟机看看情况, 不行的话关虚拟机, 再开vCenter……
开一次vCenter起码要5分钟

高卢鸡 · 发表于 2018-8-12 11:23

blackeyed 发表于 2018-7-31 03:17
vCenter最傻逼的是, 配置好以后, 虚拟机上的一些设置就必须要进vCenter改

但是vCenter要占用10G内存, 我开 ...

大佬，你用9207能看到smart信息么？我把9207直通群晖了，在群晖里组raid1，然后看不到smart信息了，提示是正常，但是详细信息为空，提示无法获取。

Microsoft · 发表于 2018-8-12 11:34

什么乱七八糟的...看不懂楼主的描述了...
vcenter又不是必须的,集群才会用得上
家里就一个单台esxi装个毛的vcenter

高卢鸡 · 发表于 2018-8-12 12:03

Microsoft 发表于 2018-8-12 11:34
什么乱七八糟的...看不懂楼主的描述了...
vcenter又不是必须的,集群才会用得上
家里就一个单台esxi装个毛的 ...

你再看看，我没用vcenter，是blackeyed要上，他要玩万兆网

blackeyed · 发表于 2018-8-12 17:36

Microsoft 发表于 2018-8-12 11:34
什么乱七八糟的...看不懂楼主的描述了...
vcenter又不是必须的,集群才会用得上
家里就一个单台esxi装个毛的 ...

上vCenter是为了链路聚合
这该死的功能必须vCenter才能设置
其实根本没必要, 我就一台电脑, 本机网卡链路聚合(LACP)
不知道为什么VMWare设置成链路聚合强行上vCenter

blackeyed · 发表于 2018-8-12 17:38

高卢鸡发表于 2018-8-12 11:23
大佬，你用9207能看到smart信息么？我把9207直通群晖了，在群晖里组raid1，然后看不到smart信息了，提示 ...

我也遇到过
然后我改了SCSI的类型, 强行指定boot硬盘的SATA地址之类的试, 反正一顿操作以后, 群晖就能认了……具体哪个操作影响了也说不清楚

高卢鸡 · 发表于 2018-8-12 20:59

引用第118楼blackeyed于2018-08-12 17:38发表的 :
引用:高卢鸡发表于 2018-8-12 11:23大佬，你用9207能看到smart信息么？我把9......

@blackeyed
求方法或看得教程。

----发送自 Sony G8441,Android 8.0.0

		自动登录	找回密码
密码			立即注册

[软件] 生命在于折腾（误），家用娱乐中心（误）esxi折腾记 一更

[软件] 生命在于折腾（误），家用娱乐中心（误）esxi折腾记一更