生命在于折腾（误），家用娱乐中心（误）esxi折腾记 一更

Realplayer

主舵者 发表于 2018-7-5 18:18
就网卡和显卡，问题是有不用折腾的PVE/Hyper-V甚至vbox为啥还要折腾ESXi

—— 来自 Xiaomi MI 6, ...

网卡有什么好折腾的。连realtek都有驱动了，tool灌进去就是了
至于显卡，我觉得那是闲的

Kshatriya

折腾过一阵子esxi作为软环境测试，后来崩了不会修，傻眼了。幸好没什么重要资料

高卢鸡

主舵者 发表于 2018-7-5 18:18
就网卡和显卡，问题是有不用折腾的PVE/Hyper-V甚至vbox为啥还要折腾ESXi

—— 来自 Xiaomi MI 6, ...

PVe没玩过，HYPerv需要win环境，重装不如EXsi方便快捷。

—— 来自 Sony G8441, Android 8.0.0上的 S1Next-鹅版 v2.0-play

thegodra

了解两个问题：
本代锐龙虚拟化的坑填了没有
单臂路由的话，会损耗有线带宽吗？我家500M下行，局域网只有千兆，万兆没得搞。

高卢鸡

thegodra 发表于 2018-7-6 09:59
了解两个问题：
本代锐龙虚拟化的坑填了没有
单臂路由的话，会损耗有线带宽吗？我家500M下行，局域网只有千 ...

就目前折腾的程度，除了显卡和USB没直通上，其他都还可以。网络的问题等我的软路由架起来可以测试一下。

—— 来自 Sony G8441, Android 8.0.0上的 S1Next-鹅版 v2.0-play

高卢鸡

主楼也贴了更新，方便查看

继续折腾。
这次的主要目的是显卡直通。
网上搜了一些帖子，提到n卡直通比较麻烦（黄老板刀法太精湛）。
搜到的总结了一下步骤：
1.修改虚拟机的vmx配置文件
添加

1. hypervisor.cpuid.v0 = FALSE

复制代码

很多教程都是这么两句，然后你让我个小白怎么整。经过一番对linux的研究，通过ssh连接，前面rdm硬盘也用到了ssh连接，所以这里不赘述了。
提几个linux的命令，方便我一样的小白。ls = dir，dir应该都知道，dos下的列文件命令；cd命令没变化；修改各种配置（文本类文件）使用linux自带的vim；lspci命令，列出pci设备。
命令如下

1. vi /vmfs/volumes/datastore1/win10/win10.vmx

复制代码

根目录下就可以看到文件夹，datastore1是默认建立的数据存储，进入这个目录下，你就会发下跟web界面下数据存储浏览器看到的文件内容类似，这里面就放着虚拟机的各种数据。win10是我的虚拟机名字。
然后就i是根据教程添加语句。
2.在https://blog.x-speed.cc/archives/39.html帖子里提到

在ESXi主机/etc/vmware/passthru.map文件内根据PCIE ID添加以下行:

1. 10de 1c02 d3d0 false

复制代码

其中10de是PCIE设备的供应商ID. 1c02是PCIE设备的设备ID.

当添加完毕之后重启ESXi主机后直通后的显卡就应该可以工作了.

这个教程就很清楚，10de是nvidia的id，1c02是显卡的id，有不清楚的可以放狗搜，了解更多知识。
下面就用到了lspci命令了，输入之后会列出接入的pci设备，找到显卡，发现找不到类似的4位id，没事，下面你输入命令lspci -v，就可以看到更多信息

1. 0000:10:00.0 VGA compatible controller Display controller: NVIDIA Corporation G96 [GeForce 9500 GT]
   
2.          Class 0300: 10de:0640
   

复制代码

能看到类似教程里的4位id了，我实验用的是9500gt（手头没有更方便测试的卡）
如果不放心，可以放狗搜，找到在techpowerup里找到相关信息，确定你找到的没有错误。
然后就是添加这条语句。
在这个文件里我还看到了nvidia注释下，还有一条

1. 10de  ffff   bridge  false

复制代码

不知道是啥意思。

3.有些教程里提到需要

修改 /etc/vmware/esx.conf

       /device/显卡设备号/owner =  "passthru"

显卡设备号在exsi的web管理界面设置直通设备的里面可以找到，不过看到的比里面写的少一个0，例如

1. 0000:15:00.0 Serial bus controller: Advanced Micro Devices, Inc. [AMD] 300 Series Chipset USB 3.1 xHCI Controller [vmhba32]
   

复制代码

文件里的例子是

1. /device/00000:016:00.0/device = "640"
   

复制代码

不知道为啥，我是按照文件里的例子写了5个0

最后我失败了，esxi卡在dma_map_iommu这个界面下，但是实际已经启动，通过web管理界面启动虚拟机，然后显示器花屏。有可能是因为我的显卡太老了，不支持这么高级的应用吧。
PS.我在bios里关掉了板载声卡，反正直通暂时失败，不知道打开声卡会啥样。
下面打算试试apu的核显

高卢鸡

osk666neo 发表于 2018-7-14 01:44
做NaS，最重要不是硬盘直通？
话说显卡直通比vmware WS难很多？

还想试试htpc，反正折腾嘛

塔奇克马

osk666neo 发表于 2018-7-14 02:08
其实偶不明白，家里用的软路由有啥用，通常就两个网口，难道再买个SWItch？

—— 来自 Sony G8142, Androi ...

无线路由就可以做交换机(AP).并不需要购买交换机.至于软路由内部虚拟交换机是另一回事.

塔奇克马

osk666neo 发表于 2018-7-14 02:12
原来只是做虚拟机的路由啊，还以为上来给别的机子用

—— 来自 Sony G8142, Android 8.0.0上的 S1Next- ...

就是给其他机器用(同时包括虚拟机)啊......

塔奇克马

osk666neo 发表于 2018-7-14 02:08
其实偶不明白，家里用的软路由有啥用，通常就两个网口，难道再买个SWItch？NaS弄啥RAiD？上RAiDZ？
话说这 ...

有PCIEx4(8)就可以上lsi卡 获得8口,然后另一个PCIEx8上expander卡或者有带有expander芯片的硬盘笼可以将8口扩展到24口.

主板上过多的sata口通常价格贵,有些主板集成sas功能价格更贵.得不偿失.
而且lsi卡上的硬盘并不需要直通就能给虚拟机用.
12盘位,带有一个minisas口

当然还有另一种方案这类主板可以选
13sata口 淘宝600

塔奇克马

osk666neo 发表于 2018-07-14 03:42:04
v2.0-play

穷人会用这类卡，dell h200 it卡 140 。

  -- 来自 能搜索的 Stage1官方 Android客户端

高卢鸡

继续折腾：
昨天书到9500gt没成功，不知道是我的操作还是没弄好，还是显卡本身太老旧了。今天聊聊直通vega8的情况。
首先先把所有昨天改改过的要删除，否则虚拟机启动失败，提示poweron设备故障，这里先买个关子。esxi里设置好直通vega8之后，启动虚拟机，首先安装的是前几天下到的18.5.1，安装之后重启，设备管理器里看到显卡代码43。然后我通过手动更新驱动程序，装好之后看到感叹号没有了，心情有点激动，然而
重启之后依然感叹号。
尝试按照n卡的方法，修改esx.conf和passthru.map。其中我在esx.conf里看到设备号00000:056:00.0为vega8，可是不对啊，从web界面查看的设备号是038，然后再ssh下通过lspci查看到的也是038，也没有看到有设备使用056的设备号，说到这里，前面也说到有个关子，这个关子就是虚拟机启动失败，提示的错误类型就是056不是直通设备。不知道a卡这是啥情况，对应的设备号都有变化。
要不我把设备号改回038看看啥效果，然后，看表情也知道依然代码43。尝试进安全模式删除vmware SVGA，还是代码043。

高卢鸡

新增加虚拟兼容映射和物理兼容映射的简要对比和我的理解，补充到主楼的磁盘映射位置

vmkfstools是一个很有用的工具，可以进行裸设备映射，还可以回收空间，切换置备类型，更改vmdk大小等等。
http://blog.51cto.com/xjsunjie/1980869
所以我去查了查参数，发现还有一个-r参数，建立的是虚拟兼容模式映射，与-z的物理兼容模式映射是两种类型。
搜了一下网上的资料，重复的话也不讲了，贴个链接http://blog.51cto.com/virtualbox/1152757。vmfs5毕竟是上一个版本esxi的产物了，上vmware的网站搜了一下，vsphere5的文档里写着vmfs5再虚拟模式时最高只支持2t，这应该是网上的2t RDM限制的来源。但是找到vsphere6的文档里却没有找到vmfs5只支持2t的证据。所以虚拟模式和物理模式在家用少量存储的情况下，没有啥差距，反倒虚拟模式支持迁移的特性可能会有些优势。附上vsphere5.1文档、vsphere6文档、vmfs版本对比

高卢鸡

更新一下使用感想，不知道是系统更新原因还是硬件升级的原因，通过远程桌面连接走smb的传输速度提升了。
原来
下载机OS win8.1  硬件 妖擎j1900   主机OS win10  硬件  c6h
通过远程桌面把主机驱动器连接过去，远程桌面内操作下载机驱动器往主机的驱动器拷贝，速度基本15-20mb/s，20是偶尔能达到。
现在
下载机OS  win10lstb
如上操作，速度上来就28、29mb/s，然后提升到30+，复制上g的文件能提升到32、33以上

blackeyed

准备最近组个x99+6800k 上esxi

然后搞黑群晖和lede


我知道上x99性能浪费……但是研究了一圈没有办法
lede路由器打算做万兆的, 需要尽量多的pcie(万兆网卡要用pciex8, 也就这种时候突然感觉阉割pcie lanes真的是可恶)群晖多盘位需要多sata, 原生8sata以上的选择也很少

这样的话不是x99就要x299了……不知道还有没有更合适的方案

看了楼上大家的回帖……感觉自己是不是应该先试试看hyper v……esxi看起来很可怕的样子?

尤其是某楼说esxi崩了, 不知道怎么修
esxi崩了的话, 里面跑的路由器和群晖是不是也完蛋了

混乱中立搅屎棍

blackeyed 发表于 2018-7-15 15:01
准备最近组个x99+6800k 上esxi

然后搞黑群晖和lede

选可以拆成x8+x8的消费级主板不也行吗
一条x8给万兆卡，另一条给磁盘
pcie2.0 x4也够单口万兆了

blackeyed

混乱中立搅屎棍 发表于 2018-7-15 17:22
选可以拆成x8+x8的消费级主板不也行吗
一条x8给万兆卡，另一条给磁盘
pcie2.0 x4也够单口万兆了 ...

如果选i3 8100 一共就16条pcie吧

x8 只有万兆两口, 四口的就太贵了 (买四口不如拿多出来的钱升级性能和pcie数量
万兆两口不够的(不打算用万兆交换机了, 现在又贵选择又少), 起码要四口, 这样就16个用掉了
千兆4口的还需要一个x4, 这样就要20……
如果原生sata只有6口的话, 还需要分出来pcie转sata (为了上8个盘
如果主系统用nvme……

总之就是20条以下怕是不够……

塔奇克马

blackeyed 发表于 2018-7-15 17:40
如果选i3 8100 一共就16条pcie吧

x8 只有万兆两口, 四口的就太贵了 (买四口不如拿多出来的钱升级性能和pc ...

E3 V1 V2 都是20条通道
虽说只有C204能拆成 8+4+4+4
但是C202拆成 8 + 8+ 4(PCIE2.0)(不是很确定虽然有板子)

1 x PCIe x16 (Gen3 x8 bus) slot
1 x PCIe x8 (Gen3 x8 bus)slot
1 x PCIe x8 (Gen2 x4 bus)slot

不过我不认为你的4口万兆卡能实际使用中能吃满.

混乱中立搅屎棍

blackeyed 发表于 2018-7-15 17:40
如果选i3 8100 一共就16条pcie吧

x8 只有万兆两口, 四口的就太贵了 (买四口不如拿多出来的钱升级性能和pc ...

那就只有选服务器板子了
消费级直连cpu的就是16条pcie，如果你能接受除了4个万兆网口外的设备都挂在共享DMI3 x4下的话倒是有c236主板有8个sata口的
这么多万兆用得过来吗，你这相当于自己组了个4口万兆交换机啊，反正这个服务器上没有其他东西可以用满2个万兆口的

高卢鸡

blackeyed 发表于 2018-7-15 17:40
如果选i3 8100 一共就16条pcie吧

x8 只有万兆两口, 四口的就太贵了 (买四口不如拿多出来的钱升级性能和pc ...

你这要求家用hedt满足不了啊，就不是目标需求。建议上服务器平台。
另外esxi崩了重装很简单，速度快。前提是：1、esxi的主程序单独装在一个磁盘/u盘/cf卡等，前面说了esxi不能单独对分区安装，安装就是对驱动器。2、虚拟机文件在另一个驱动器上，比如我就放在m4上，没有损坏，只是因为esxi设置直通啦，不小心啥情况就崩了。
直接用制作好的esxi安装u盘启动，然后按照提示一步步安装就好了，再装在原来esxi的驱动器里。

Kryss

blackeyed 发表于 2018-7-15 15:01
准备最近组个x99+6800k 上esxi

然后搞黑群晖和lede

超微X10SDV或者X11SDV，有4C8T和8C16T，自带双万兆电口和IPMI，而且还是ITX

高卢鸡

简单更新一下
lede单臂路由设置成功，简单说一下
使用的是koolshare编译修改版本，通过转盘完成，先从服务器下载转盘用的img文件，然后通过starwindconverter转换成vmdk文件
将生成的两个vmdk传到datastore1上，按照教程最好放在与将要建立的虚拟机一样名字的子文件夹下，然后建立其他3.x linux系统或其他linux系统的虚拟机，硬盘使用传上去的vmdk文件。
之后启动虚拟机，输入

1. vi /etc/config/network/

复制代码

设置网络配置文件

1. config interface 'loopback'
   
2.         option ifname 'lo'
   
3.         option proto 'static'
   
4.         option ipaddr '127.0.0.1'
   
5.         option netmask '255.0.0.0'
   
6. config interface 'lan'
   
7.         option proto 'static'
   
8.         option ipaddr '192.168.1.1'
   
9.         option netmask '255.255.255.0'
   
10.         option ifname 'eth0'
    
11. 
    
12. config interface 'wan'
    
13.         option ifname 'eth1'
    
14.         option proto 'dhcp'
    
15. 
    
16. config interface 'wan6'
    
17.         option ifname 'eth1'
    
18.         option proto 'dhcpv6'

复制代码

然后看了这个帖子http://koolshare.cn/thread-114190-1-1.html，设置好lan和wan绑定后，修改wan的拨号类型为pppoe（帝都联通），就可以上网了。具体可上论坛找，不赘述了。
因为是单臂路由，所以千万要设定好各种设备的路由地址，比如原有路由取消dhcp功能后按照lede的网段192.168.1.1修改，这样接在这个充当无线ap上的设备也都会变成192.168.1.x网段（我原来都设置过静态地址表）。esxi的管理端网络设置也要在主机下进行更改。

我最后弄成的网络拓扑。现在已经达成esxi远程管理，download-pc做下载机开bt、驴子、pd、ftp，lede软路由，外接的wndr4000作无线ap。
但是有个问题，无法访问wndr4000的管理界面。刚设定好这些时，无线上不去，想去wndr上看看，但是上不去，过了一段时间自己就好了，wifi也没问题了。
单线多拨测试了一下，下载不叠加，上传叠加，更多使用没弄。

blackeyed

Kryss 发表于 2018-7-15 18:39
超微X10SDV或者X11SDV，有4C8T和8C16T，自带双万兆电口和IPMI，而且还是ITX

你这不考虑性价比就没意思了啊

我本来一千多块钱的主板可以解决的事情, 你要我上五六千的主板……而且ITX的槽还更少了……只是帮我省了一个万兆网卡, 毫无性价比啊

blackeyed

塔奇克马 发表于 2018-7-15 18:05
E3 V1 V2 都是20条通道
虽说只有C204能拆成 8+4+4+4
但是C202拆成 8 + 8+ 4(PCIE2.0)(不是很确定虽然有板 ...

就是20不够, 才想上6800的28条的
现在甚至觉得28条不保险, 考虑上6850的40条……
打算把之后几年里的万兆需求都一步到位解决了
那么至少需要预计6口万兆, 就是pcie8x3=24
千兆四口就算用pcie1, 这样就25, 如果主系统有个nvme卡, 就要29了……就超了……

万兆跑不满其实没关系的, 我其实一直也很纳闷, 为什么网络一定要10倍一升, 2.5G和5G虽然也存在, 但是都是10G标准降档使用……
我其实觉得2.5G或者5G就可以了, 毕竟SSD读写才四五百M

blackeyed

混乱中立搅屎棍 发表于 2018-7-15 18:08
那就只有选服务器板子了
消费级直连cpu的就是16条pcie，如果你能接受除了4个万兆网口外的设备都挂 ...

有多少台PC就多少口万兆呗, 家里电脑多
好在打算用黑群晖, 还能省一个万兆(直接在同一台机器里共享了网卡)

但是考虑到未来几年里, 万兆wifi也要开始普及了, 所以我就怕只做4口过两年成鸡肋, 要预计有6口万兆的安排


我现在已经在看超微的C612+6850K的方案了 有40条, 槽也够用
2620v4也不错……不过总感觉性价比不如6850K

X10SRL-F 不知道是不是支持i7 介绍里没写
X10SRA倒是写了支持i7

blackeyed

高卢鸡 发表于 2018-7-15 18:19
你这要求家用hedt满足不了啊，就不是目标需求。建议上服务器平台。
另外esxi崩了重装很简单，速度快。前 ...

是不是这么理解:

我用U盘安装esxi, 全部弄好esxi稳定运行以后, 我对U盘做个ghost镜像备份
然后我esxi就随便折腾, 折腾坏了以后, 就ghost还原镜像到U盘就可以了?

星野あさみ

osk666neo 发表于 2018-7-14 02:08
其实偶不明白，家里用的软路由有啥用，通常就两个网口，难道再买个SWItch？NaS弄啥RAiD？上RAiDZ？
话说这 ...

高带宽+公网IP+设备多的情况适合软路由，玩法太多了。。网络不行的话和百元路由器比没啥大区别

我ESXi里跑LEDE (酸酸乳 + stunnel + softether server)，搭配pi hole做全局广告过滤，R7000专心当AP。LEDE/OpenWRT的软件包很丰富，能想到的玩法基本上都有现成的

交换机肯定需要啊，接ESXi，三台台式，一个AP。搞了个便宜的8口千兆凑合用着。

星野あさみ

blackeyed 发表于 2018-7-15 22:11
是不是这么理解:

我用U盘安装esxi, 全部弄好esxi稳定运行以后, 我对U盘做个ghost镜像备份

这只是ESXi主程序和配置的备份吧。datastore本身也得有备份机制。不过我的使用场景不经常折腾ESXi里的虚拟机，搞好模板vm后用ovftool备份出来就行了，恢复也方便。

对uptime要求高的话就麻烦了，得上VCSA高可用，硬核的homelab玩法

星野あさみ

高卢鸡 发表于 2018-7-14 13:44
继续折腾：
昨天书到9500gt没成功，不知道是我的操作还是没弄好，还是显卡本身太老旧了。今天聊聊直通vega8 ...

几乎趟过一样的坑。。不过我是在Hyper-V DDA直通Vega 8

guest装好驱动后没叹号，重启后code 31。。google搜了一圈没人还玩成功过

高卢鸡

blackeyed 发表于 2018-7-15 22:07
有多少台PC就多少口万兆呗, 家里电脑多
好在打算用黑群晖, 还能省一个万兆(直接在同一台机器里共享了网卡 ...

跑不满也可以的话，通道少点也可以，只要板子提供PCIe插槽就行，插槽短锯开也可以强上。
我想你家用也不会全是SSD存储吧，大容量依然是HDD，千兆足以了。如果需要并发场景，链路聚合也可以满足了。

—— 来自 Sony G8441, Android 8.0.0上的 S1Next-鹅版 v2.0-play

高卢鸡

blackeyed 发表于 2018-7-15 22:11
是不是这么理解:

我用U盘安装esxi, 全部弄好esxi稳定运行以后, 我对U盘做个ghost镜像备份

73楼回答得很好了。其实ESxi的配置没啥，如果你不搞好多设备直通，好多网络设置的话。虚拟机的很多参数都在vmx文件里有，备份好datastore1的资料就好。家用homelab其实也不会太折腾，装个软路由，弄个下载用，直通显卡弄个HTPc，剩下的系统基本是跑着玩玩。

—— 来自 Sony G8441, Android 8.0.0上的 S1Next-鹅版 v2.0-play

高卢鸡

星野あさみ 发表于 2018-7-16 00:00
几乎趟过一样的坑。。不过我是在Hyper-V DDA直通Vega 8

guest装好驱动后没叹号，重启后code 31。 ...

估计是驱动问题了，我是代码43，英文网站有用6800K在ESxi下直通碰到43问题的，没人回答。想玩HTPc or 替换掉父亲的单独电脑的想法还是没实现。

OVftools怎么玩

—— 来自 Sony G8441, Android 8.0.0上的 S1Next-鹅版 v2.0-play

星野あさみ

高卢鸡 发表于 2018-7-16 00:25
估计是驱动问题了，我是代码43，英文网站有用6800K在ESxi下直通碰到43问题的，没人回答。想玩HTPc or 替 ...

其实就是esxi网页版的Export，但我从网页版没成功导出过，症状是浏览器下载vmdk会断。

不少人有一样的问题，解决方法是本机运行ovftool 命令行导出：

1. ovftool vi://root:password@esxi.lan/"VM Example1" E:\vmtemplate\vmexample1.ovf

复制代码

高卢鸡

星野あさみ 发表于 2018-7-16 12:57
其实就是esxi网页版的Export，但我从网页版没成功导出过，症状是浏览器下载vmdk会断。

不少人有一样的问 ...

导出的是整个vmdk？还是只是设置？

—— 来自 Sony G8441, Android 8.0.0上的 S1Next-鹅版 v2.0-play

星野あさみ

高卢鸡 发表于 2018-7-16 13:47
导出的是整个vmdk？还是只是设置？

—— 来自 Sony G8441, Android 8.0.0上的 S1Next-鹅版 v2.0-play ...

配置+vmdk全导。有PCI直通设备的话估计麻烦