2023年11月24日发(作者：华为mate50最新官网消息)
Lenovo HX系列超融合系统
安装配置手册
1
目 录
1.使用Foundation安装部署 ................................................................................ 3
1.1文件下载 .................................................................................................................... 3
1.2Foundation虚拟机的准备 ..................................................................................... 6
1.3部署过程 .................................................................................................................... 8
2.网络交换机配置部分 .......................................................................................... 15
2.1整个网络拓扑 .......................................................................................................... 15
2.2Lenovo G8124E交换机的主要信息 ................................................................... 16
2.3交换机用户配置 ...................................................................................................... 17
2.4交换机的管理网络配置 .......................................................................................... 18
2.5交换机的端口配置 .................................................................................................. 19
2.6交换机的互联配置（ISL） .................................................................................... 21
2.7交换机上联设置 ...................................................................................................... 24
3.虚拟化配置选项 .................................................................................................. 27
3.1VMware ESXi的集群配置选项 ............................................................................ 27
3.2AHV虚拟化配置 .................................................................................................... 31
3.3AHV环境的网络配置 ............................................................................................ 45
4.其它相关问题 ...................................................................................................... 50
2
4.1Nutanix的license以及区分 ............................................................................... 50
4.2关于Prism Central ............................................................................................... 51
4.3如何进行初步的性能诊断 ...................................................................................... 56
4.4Pro的License注册 .............................................................................................. 58
5.集群升级 .............................................................................................................. 61
5.1集群健康检查 .......................................................................................................... 61
5.2Prism界面更新 ...................................................................................................... 62
6.引用文档 .............................................................................................................. 68
1. 使用Foundation安装部署
1.1 文件下载
1. Nutanix部分：
Nutanix的安装文件，Foundation虚拟机，AHV，NOS,以及Prism Central，Phoenix等软件。
下载链接为：
/（需要拥有Nutnaix的账号才可以。）
3
2. Hypervisor部分：
Nutanix平台目前支持VMware ESXi，AHV以及Hyper-V三种虚拟化平台，其下载的位置
如下：
VMware ESXi：
通过VMware的官方网站，下载链接为
/group/vmware/info?slug=datacenter_cloud_infrastructure/vmware
_vsphere/6_0
AHV：
通过Nutanix网站下载，下载地址
/#/page/static/hypervisorDetails
4
Hyper-V：
Hyper-V需要使用微软的官方版本，需要使用Windows20** with Hyper-V版本，下载地
址在需要到微软官方下载。
3. 联想的IMM/UEFI部分：
在安装时需要确认HX服务器的IMM以及UEFI版本，这些版本的下载地址为：
/us/zh，在查询框中输入HX机型的型号，如8693代表HX3310
然后在页面中选择BIOS，可以下载UEFI，选择IMM可以下载IMM版本。
5
1.2 Foundation虚拟机的准备
1. 文件准备
Foundation是Nutanix的部署工具，用来进行初次快速部署Nutanix的集群。Foundation
本身是一个虚拟机，可以通过Nutanix网站下载。下载页面为：（由于CVM里内置
Foundation工具，所以一旦CVM集群建立后，将不需要再使用部署时使用的Foundation
虚拟机，只需要使用Prism页面进行管理和添加/删除节点即可。）
下载后进行解压（下载后请核对MD5码，确保MD5值一致），解压后的文件列表如下：
2. 虚拟机创建
只需要将其导入到本机的VMware Workstation中即可创建Foundation虚拟机。foundation
虚拟机的网络一定是桥接方式。如下图：
6
Foundation虚拟机的默认用户名密码分别如下：
用户名：nutanix
密码：nutanix/4u
Foundation虚拟机启动后，复制相应的ISO到相应的目录
ESXi的ISO放置在目录/home/nutanix/foundation/isos/hypervisor/esx
AHV的升级包放置在目录/home/nutanix/foundation/isos/hypervisor/kvm
AOS升级包放置在目录/home/nutanix/foundation/nos
注意：
1. 如果Foundation使用的是3.5以及更高的版本，则不需要对Foundation虚拟机进行
任何修改，可以直接使用。
7
2. 如果Foundation使用的是3.4以前的版本，需要同时下载Lenovo HX的补丁，将
HX补丁拷贝到Foundation虚拟机中，然后在Nutanix Foundation虚拟机中执行一
下命令来更新HX补丁。
nutanix@cvm$ ~/foundation/bin/foundation_upgrade -t
nutanix@cvm$ service foundation_service start
3. 时间调整
调整foundation时区：请修改为用户当地时区
图形化界面修改：在命令行下执行system-config-date
调整foundation时间
点击桌面上的图标“set_foundation_ip_address”修改IP地址使其能够访问外
网
命令：sudo ntpdate -u 跟时间服务器进行同步
命令：date检查当前时区和时间（中国时区为CST）
1.3 部署过程
1. 服务器连线：部署时只需要连接IMM和1跟10Gb的光纤线即可，部署完成后再进行另
外一根光纤线的连接，并在Hypervisor层进行调整。
注意：
如果部署前连接了所有的光纤连线，则部署时有可能出错。
2. 查看或者升级IMM/UEFI版本，根据相关的通知酌情升级UEFI和IMM的版本；
8
截至到2017年2月，请确保部署时将UEFI升级到2.22版本。
3. 修改IMM时间；
4. 按照客户网络要求修改IMM的IP地址；
5. 修改IMM的主机名；
6. 修改IMM的用户密码；
7. 查看BIOS时间以及修正；
8. 启动Foundation VM，点击“set_foundation_ip_address”图标修改Foundation VM的IP
地址；
9. 打开Nutanix Foundation网页开始部署Nutanix节点；
10. Foundation开始扫描网络中的节点。扫描后会按照序列号列出目前的连接的节点。
Foundation扫描是通过IPv6的locallink地址进行的。如果HX节点连接的交换机网络端
口是Trunk，建议设置一个native vlan，所有的管理地址都运行再Native vLan中，这样
才能更好的网络识别。如果是在一个access端口下，则所有节点的vLAN号必须一致；
9
注意：
如果无法识别到所有的节点，可以手工添加，请按照IMM的MAC地址进行节点添
加。添加完成后使用页面右上角的ping进行测试。
11. 输入规划好的Hypervisor IP，CVM IP以及IMM IP地址；
12. 输入其它网络信息，包含子网掩码，网关；
10
13. 选择要部署的CVM的版本以及Hypervisor的类别和版本。这些版本的文件是通过
网站提前下载并放在foundation虚拟机的相应目录下的。否则不会显
示出来；
14. 在接下来的页面点击“Create Cluster”来创建Nutanix的Cluster；
11
15. 输入cluster的名字，VIP地址，DNS，NTP以及副本数量等信息，VIP地址，DNS，NTP也
可以在集群完成后输入，这里不填也可以；
注意：
副本数量：如果节点数量<5，那么即使购买了Pro的License，也无法改为3，只能
选择2。如果节点数量>=5,，并且购买了Pro的license，则可以使用3副本。
16. 点击“Run Installation”开始部署。系统会提示，整个操作会进行1小时左右。点击Proceed；
12
17. 开始部署后网页会跳转到进度页面，也可以点击右侧的log进行查看部署的日志。如下：
18. 部署过程中，HX节点会进行重启，安装等一系列动作，这一切都是自动的。
13
注意：
在部署节点出现问题导致部署失败，请查看log。并检查以下方面：
网络连接和配置情况，这是出问题最多的；主要包括：
IPMI的IP和MAC地址是否正确；
IPMI的用户名和密码是否正确
Foundation虚拟机的网络跟HX节点以及IMM的网络是否在同一个广播域
（vLAN）；
Foundation虚拟机的磁盘空间：Foundation对于Hyper-V部署需要至少9GB剩
余空间，对于AHV和ESXi部署，需要至少3GB剩余空间。
其它文件参见Nutnaix的《Field Installation Guide》中的Troubleshooting章节
19. 部署完成后的界面如下：
20. 此时在浏览器中输入VIP地址，或者任何一个CVM的IP地址即可登录Prism页面，查
看整个集群的信息。第一次登录使用的用户名位admin，密码admin，第一次登录会要
求修改Prism的密码。
21. 修改CVM的时区设置。使用Foundation部署完成后，CVM的时区是PST，需要修改位
CST（China Standard Time），修改方式为，SSH登录到任何一台CVM虚拟机。然后执行
data命令查看当前时区，如果是CST，则不需要修改，如果不是，请使用如下命令修改：
14
ncli cluster set-timezone timezone=Asia/Chongqing
至此Nutanix的部署工作基本结束。
2. 网络交换机配置部分
2.1 整个网络拓扑
在Lenovo HX超融合的系统部署中，典型的架构网络为：
需要注意以下5点：
1. 千兆交换机和万兆交换机务必都要连接到用户的网络；
15
2. 如果有更多的千兆接口，可以使用HX节点上主板自带的4个千兆网口来提供额外的虚
拟机流量（需要另外创建虚拟交换机）。
3. CVM需要和Hypervisor在同一个vLAN之中。但IMM可以不在同一个vLAN中。
4. 由于G8124E交换机出厂默认没有配SFP+模块，所以需要检查用户现场的SFP+的模块
数量，主要包含：
a) 服务器的网卡上的SFP+模块数量；
b) 每个服务器网卡对应的交换机上的SFP+模块的数量；
c) 2台G8124E交换机之间互联的模块的数量（每台交换机至少2个）；
d) 每台G8124E交换机上联至用户网络的SFP+模块（每台交换机至少1个）；
e) 光纤线的数量。
5. G8124E交换机可以提供1Gb的端口速率，但需要使用不同型号的模块。
2.2 Lenovo G8124E交换机的主要信息
Lenovo G8124E交换机包含24个10Gb端口，2个管理端口的交换机，24个10Gb端口为
SFP+的连接方式。建议支持14个以内的HX节点的连接。15—35个节点建议采用Lenovo
G8272交换机。
G8124E交换机的视图下：
16
交换机默认的用户名和密码为：
用户名：admin
密码：admin
2.3 交换机用户配置
修改默认的管理员密码：
默认出厂设置的Lenovo G8124E交换机内置管理员用户和密码都是admin，但是为了安全起
见，一般需要修改默认的管理员密码。修改方式如下：
RS G8124-E> enable
RS G8124-E# configure terminal
RS G8124-E (config)#access user administrator-password
Changing ADMINISTRATOR password; validation required:
Enter current local admin password: ####
输入现有的密码
Enter new admin password (max 64 characters): ####
输入新的密码
Re-enter new admin password: ####
再次输入新的密码
New admin password accepted.
增加新的管理员用户：
默认管理员用户是无法修改用户名的，而且无法删除，只能进行disable或者enable。如果
用户需要添加一个新的管理员用户，需要做如下操作：
RS G8124-E> enable
RS G8124-E# configure terminal
RS G8124E(config)# access user 1 name newusername
##1newuser##
为添加的第一个用户，那么为新用户的用户名
RS G8124E(config)# access user 1 password
Changing user1 password; validation required:
Enter current admin password:
####
输入现有管理员密码
Enter new user1 password:
输入新建用户的密码
Reenter new user1 password:
再次输入新建用户密码
New user1 password accepted.
RS G8124E(config)#access user 1 level administrator
####
将第一个添加的用户设置为管理员级别
RS G8124E#show access user uid 1 ####
显示第一个用户的用户名进行确认
RS G8124E(config)# access user 1 enable ####
激活添加的用户
17
RS G8124E(config)#exit
RS G8124E#show access user ####
显示当前的所有用户
2.4 交换机的管理网络配置
交换机出厂时默认有带外和带内管理的IP，但是在用户的实际生产环境中需要根据用户
的需要进行修改。
在G8124E中的管理端口对应如下：
序号 端口 对应内部端口 对应网关
1 带内管理 IP 1 Gateway 1
2 带外管理A IP 127 Gateway 3
3 带外管理B IP 128 Gateway 4
修改带外管理地址：（以带外管理端口A为例）
配置命令如下：
RS G8124-E> enable
RS G8124-E# configure terminal
RS G8124-E (config)# interface ip 127 ##A##
修改带外管理口
RS G8124-E (config-ip-if)# ip address 172.26.16.9 ##AIP##
配置带外管理口的地址
RS G8124-E (config-ip-if)# ip netmask 255.255.255.0 ##A##
配置带外管理口的子网掩码
RS G8124-E (config-ip-if)# enable ##A##
激活带外管理口的配置
RS G8124-E (config-ip-if)# exit
RS G8124-E (config)# ip gateway 3 address 172.26.16.1 ##A##
配置带外管理口的网关
RS G8124-E (config)# ip gateway 3 enable ##A##
激活带外管理口的网关
修改带内管理地址
配置命令如下：
RS G8124-E> enable
RS G8124-E# configure terminal
RS G8124-E (config)# interface ip 1 ####
修改带内管理口
RS G8124-E (config-ip-if)# ip address 172.26.16.8 ##IP##
配置带内管理口的地址
RS G8124-E (config-ip-if)# ip netmask 255.255.255.0 ####
配置带内管理口的子网掩码
RS G8124-E (config-ip-if)# enable ####
激活带内管理口的配置
18
RS G8124-E (config-ip-if)# exit
RS G8124-E (config)# ip gateway 1 address 172.26.16.1 ####
配置带内管理口的网关
RS G8124-E (config)# ip gateway 1 enable ####
激活带内管理口的网关
注意：
默认情况下，带内管理是采用DHCP来获取IP地址，如果没有DHCP，带内管理将采
用默认的IP地址。所以如果用户网络里有DHCP服务器，请务必配置带内管理IP。
2.5 交换机的端口配置
配置交换机端口为Access
将交换机的端口配置为Access口时，此端口只能允许一个vLAN通过，如果没有配置
vLAN，则只允许Natvie vLAN的数据通过。默认情况下，交换机的每个端口都没有进
行配置，只允许Native vLAN通过，也就是默认的vLAN 1。
如果所有的端口都只是通过1个vLAN，则不需要对交换机端口进行配置。
配置方法为：
RS G8124-E> enable
RS G8124-E# configure terminal
RS G8124-E (config)# interface port 3 ##3##
修改交换机的号端口
RS G8124-E (config-if)# switchport access vlan 2
##3access2vLAN##
交换机号端口配置为模式，并且只允许号通过
RS G8124-E (config-if)# exit
配置交换机端口为Trunk
将交换机的端口配置为Trunk模式时，此端口允许多个vLAN通过，连接交换机端口的
服务器或者交换机需要打vLAN的tag才能正常通讯，否则交换机会丢弃数据包。
配置方法为：
RS G8124-E> enable
RS G8124-E# configure terminal
RS G8124-E (config)# interface port 3 ##3##
修改交换机的号端口
RS G8124-E (config-if)# switchport mode trunk ##3Trunk##
交换机号端口配置为模式
RS G8124-E (config-if)# switchport trunk allowed vlans 1,2
19
##3Trunk12vLAN
交换机号端口的模式只允许，号数据包通过，如果此条命令不
加，则允许所有的通过
vLAN##
RS G8124-E (config-if)# exit
配置交换机端口为Tunk+Native vLAN
将交换机的端口配置为Trunk模式时，此端口允许多个vLAN通过，连接交换机端口的
服务器或者交换机需要打vLAN的tag才能正常通讯，否则交换机会丢弃数据包，如果
配置了Natvie vLAN，则不打tag的数据包按照Natvie Vlan进行处理，交换机自动
给数据包上加上Natvie Vlan的tag。
配置方法为：
RS G8124-E> enable
RS G8124-E# configure terminal
RS G8124-E (config)# interface port 3 ##3##
修改交换机的号端口
RS G8124-E (config-if)# switchport mode trunk ##3Trunk##
交换机号端口配置为模式
RS G8124-E (config-if)#switchport trunk native vlan 1
##vLANvLAN tagvLAN 1##
允许所有的通过，但是如果没有，交换机按照进行处理
RS G8124-E (config-if)# exit
查看端口情况命令
默认情况下，vLAN1为非管理口的Native vLAN，4095为管理端口的Native vLAN，
可以设置的vLAN为1—4094.
查看vLAN信息的命令：
RS G8124-E (config)#show vlan
查看端口的vLAN信息命令：
RS G8124-E (config)#show interface information
RS G8124-E (config)#show interface trunk
20
2.6 交换机的互联配置（ISL）
此步主要是将两台连接HX服务器的G8124E交换机通过光纤线连接起来，通过配置将
其配置为一个逻辑的交换机，2台交换机可以通过ISL+vLAG进行设置，共享MAC地
址表。2台相互连接的G8124E交换机称为vLAG peer，与交换机连接的HX服务器成
为vLAG Client。
2台完全相同型号和配置的G8124E交换机相连接，至少2根10Gb的光纤线进行连
接。
由于2台交换机之间的流量，包含虚拟机流量都可以通过ISL网络进行通讯，所以ISL
连接的数量建议是G8124E交换机上连接的服务器端口数量的一半数量。
关于生成树（STP）协议：Lenovo G8124E交换机默认开启PVST的生成树协议，在
用户生产环境中需要跟用户进行确认，建议关闭生成树协议以防止与用户环境的生成树
冲突。
配置步骤：
21
此例中有2台G8124E交换机分别为G8124E-1和G8124E-2，G8124E-1的3，4号
端口通过10Gb光纤直接与G8124E-2的3，4号端口相连接。
在第一台交换机G8124E-1上的配置：
G8124E-1 # enable
G8124E-1 # conf t
G8124E-1 (config)#spanning-tree mode disable ##STP##
关闭协议
G8124E-1 # show span ##STP##
查看状态检查
G8124E-1 (conf)# lldp enable ####
开启链路状态发现协议
G8124E-1(config)# interface port 3-4 ##34##
配置，号端口
G8124E-1 (config-if)# switchport mode trunk ##Trunk##
端口模式配置为
G8124E-1 (config-if)# lacp mode active ##LACPactive##
将开启并设置为
G8124E-1 (config-if)# lacp key 200 ##lacpkey200Key
设置的管理为，这里的
可以设置为不同的值，但是在台交换机上必须都设置为相同的值
2##
G8124E-1 (config-if)# exit
G8124E-1 (config)# vlag tier-id 1 ##vlagtier-idid2
设置的，值可以不同，但是
台交换机上必须设置为相同的值
##
G8124E-1 (config)# vlag hlthchk peer-ip 10.0.0.2 ##vlagIP
设置的心跳，检查健康状况，
IPIPIPIP
必须是对端的交换机的，可以是带内管理，也可以是带外管理，建议使用带外
管理，如果设置为带外管理，需要连接带外管理口，到可以通讯的交换机
IPIP##
G8124E-1 (config)# vlag isl adminkey 200 ##lacpkey##
此处输入的
22
G8124E-1 (config)# exit
在第二台交换机G8124E-2上的配置：
G8124E-2 # enable
G8124E-2 # conf t
G8124E-2 (config)#spanning-tree mode disable ##STP##
关闭协议
G8124E-2 # show span ##STP##
查看状态检查
G8124E-2 (conf)# lldp enable ####
开启链路状态发现协议
G8124E-2(config)# interface port 3-4 ##34##
配置，号端口
G8124E-2 (config-if)# switchport mode trunk ##Trunk##
端口模式配置为
G8124E-2(config-if)# lacp mode active ##LACPactive##
将开启并设置为
G8124E-2 (config-if)# lacp key 200 ##lacpkey200Key
设置的管理为，这里的
可以设置为不同的值，但是在台交换机上必须都设置为相同的值
2##
G8124E-2 (config-if)# exit
G8124E-2 (config)# vlag tier-id 1 ##vlagtier-idid2
设置的，值可以不同，但是
台交换机上必须设置为相同的值
##
G8124E-2 (config)# vlag hlthchk peer-ip 10.0.0.1 ##vlagIP
设置的心跳，检查健康状况，
IPIPIPIP
必须是对端的交换机的，可以是带内管理，也可以是带外管理，建议使用带外
管理，如果设置为带外管理，需要连接带外管理口，到可以通讯的交换机
IPIP##
G8124E-2 (config)# vlag isl adminkey 200 ##lacpkey##
此处输入的
G8124E-2 (config)# exit
至此，配置已经完成。
查看vLAG的状态命令：配置完成后需要查看vLAG是否已经up。
G8124E-2(config-if)#show vlag information
vLAG Tier ID: 1
vLAG system MAC: 08:17:f4:c3:dd:00
Local MAC a4:8c:db:a3:19:00 Priority 0 Admin Role PRIMARY (Operational Role PRIMARY)
Peer MAC a4:8c:db:b3:7c:00 Priority 0
23
Health local 10.0.0.2 peer 10.0.0.1 State UP
ISL trunk id 13
ISL state Up
Auto Recovery Interval: 300s (Finished)
Startup Delay Interval: 120s (Finished)
2.7 交换机上联设置
G8124E交换机一方面连接HX服务器，另一方面需要上联到用户的环境。需要视用户
环境的交换机型号而进行设置。对于上联主要有2中情况。
1. 用户的上联交换机为2台，而且采用vLAG技术互联。
G8124E的配置方法就是通过创建vLAG来实现G8124E和用户交换机的互联。
G8124E的配置步骤：（以2台G8124E的18，19号端口连接到用户交换机为例）
第一台交换机配置
G8124E-1 # enable
G8124E-1 # conf t
G8124E-1#(config)# int port 18-19 ##1819##
设置端口，
G8124E-1#(config)# lacp mode active ##LACPactive##
将开启并设置为
G8124E-1#(config)# lacp key 80 ##lacpkey80Key
设置的管理为，这里的可以设置
为不同的值，但是在台交换机上必须都设置为相同的值
2##
24
G8124E-1#( (config-if)# vlag adminkey 80 enable ##vlag##
开启
第二台交换机配置
G8124E-2 # enable
G8124E-2 # conf t
G8124E-2#(config)# int port 18-19 ##1819##
设置端口，
G8124E-2#(config)# lacp mode active ##LACPactive##
将开启并设置为
G8124E-2#(config)# lacp key 80 ##lacpkey80Key
设置的管理为，这里的可以设置
为不同的值，但是在台交换机上必须都设置为相同的值
2##
G8124E-2#( (config-if)# vlag adminkey 80 enable ##vlag##
开启
上联交换机需要的配置为使用Active LACP的vLAG/MC-LAG等等形式。
查看vLAG的状态：
G8124E-2(config-if)#show vlag information
2. 用户的上联交换机为2台，但是没有进行互联。
此种情况配置方式跟上一种配置方式基本相同，不同的地方就是配置了2组LACP
vLAG，因为2台用户的交换机相互独立，所以不能将4个端口配置为同一个vLAG。
G8124E的配置步骤：
25
本例中2台G8124E的18号端口连接到用户交换机1（黑色LACP组，key 80），
19号端口连接到用户交换机2（蓝色LACP组，key 90）：
第一台交换机配置
G8124E-1 # enable
G8124E-1 # conf t
G8124E-1#(config)# int port 18 ##18##
设置端口
G8124E-1#(config)# lacp mode active ##LACPactive##
将开启并设置为
G8124E-1#(config)# lacp adminkey 80 ##lacpkey80Key
设置的管理为，这里的可
以设置为不同的值，但是在台交换机上号端口必须都设置为相同的值
218##
G8124E-1#( (config-if)# vlag adminkey 80 enable ##vlag##
开启
G8124E-1#( (config-if)#exit
G8124E-1#(config)# int port 19 ##19##
设置端口
G8124E-1#(config)# lacp mode active ##LACPactive##
将开启并设置为
G8124E-1#(config)# lacp adminkey 90 ##lacpkey90Key
设置的管理为，这里的可
以设置为不同的值，但是在台交换机上号端口必须都设置为相同的值
219##
G8124E-1#( (config-if)# vlag adminkey 90 enable ##vlag##
开启
第二台交换机配置
G8124E-2# enable
G8124E-2 # conf t
G8124E-2#(config)# int port 18 ##18##
设置端口
G8124E-2#(config)# lacp mode active ##LACPactive##
将开启并设置为
G8124E-2#(config)# lacp adminkey 80 ##lacpkey80Key
设置的管理为，这里的可
以设置为不同的值，但是在台交换机上号端口必须都设置为相同的值
218##
G8124E-2#( (config-if)# vlag adminkey 80 enable ##vlag##
开启
G8124E-2#( (config-if)#exit
26
G8124E-2#(config)# int port 19 ##19##
设置端口
G8124E-2#(config)# lacp mode active ##LACPactive##
将开启并设置为
G8124E-2#(config)# lacp adminkey 90 ##lacpkey90Key
设置的管理为，这里的可
以设置为不同的值，但是在台交换机上号端口必须都设置为相同的值
219##
G8124E-2#( (config-if)# vlag adminkey 90 enable ##vlag##
开启
上联交换机需要的配置为使用Active LACP的形式。
查看vLAG的状态：
G8124E-2(config-if)#show vlag information
注意：
联想的交换机中的portchannal配置的是静态LACP，而Cisco的Portchannal配
置的是动态LACP，两者是不一样的。
与联想交换机上联配置只需要配置LACP，不需要配置vLAG。
3. 虚拟化配置选项
3.1 VMware ESXi的集群配置选项
在Lenovo HX节点上部署VMware ESXi集群后，需要根据Nutanix的特性再进行一定的设置
才能保证ESXi集群的合理健康的使用，主要的配置选项如下：
配置项 配置值 备注
主机监控 启用
接入控制 启用
接入控制策略 作为故障切换空间容量保留的集群资源的百分比：按照参见《vSphere
节点的数量进行设置，如3节点集群为33%，4节点为
25% Acropolis (using vSphere
27
Administration Guide for
Web Client)》。
主机隔离响应 关闭电源
但是CVM虚拟机不继承集群设置，每个CVM虚拟机设
置为保持打开电源，防止隔离后关闭本机的CVM虚拟机
虚拟机重新启用优先级 中等
CVM虚拟机不继承集群设置，每个CVM虚拟机重启优
先级设置为已禁用
虚拟机监控 可以根据用户的需要进行设置
CVM虚拟机不继承集群的设置，每个CVM虚拟机的虚
拟机监控设置为已禁用
数据存储检测信号 选择考虑加入我的首选项的任何集群数据存储：选择提
高级选项设置
供给ESXi集群的Nutanix的NFS存储
InsufficientHbDatastore=true.
当提供给ESXi存储的NFS Datastore只有1个时，ESXi集
群默认会报警，提示心跳存储只有1个，这种情况才会
需要设置此高级选项来禁用心跳存储不够的告警。
DRS电源管理 关闭
所有CVM虚拟机的DRS禁用
自动化级别
SIOC Nutanix KB
禁用，默认Storage IO Control是禁用的，但是另外需要
关闭“存储IO统计信息收集”以及开启”将I/O统计信
息从SDRS中排除”
相关vSphere集群截图如下：
接入控制策略设置：
28
主机隔离响应设置—集群设置
主机隔离响应设置—CVM虚拟机禁用集群设置：
虚拟机重启优先级—CVM虚拟机禁用设置：
29
虚拟机监控设置—CVM禁用虚拟机监控
数据存储检测信号高级选项设置：
禁用SIOC（只有WEB Client）：
30
3.2 AHV虚拟化配置
1. AHV虚拟机环境是否支持Thin Provision？
支持，AHV的虚拟机磁盘默认使用Thin Provision。
2. 虚拟机磁盘扩容：
AHV支持磁盘的扩容。具体的步骤如下：
通过Prism创建一个虚拟机，安装虚拟机的操作系统，然后安装NGT。
在操作系统中可以看到磁盘的空间情况。如下图：
31
关闭虚拟机，点击VM-Table下方的虚拟机工具栏中的Update按钮
选择虚拟机需要扩容的磁盘，点击编辑按钮
32
输入新的磁盘容量数值。这里以60GB扩容至80GB为例，这里输入80GB
点击Update，然后保存。开启虚拟机，然后到磁盘管理中可以看到虚拟机磁盘已经增加为
33
80GB
注意：需要空间的变更只能增加，不能减少，如果在编辑虚拟机磁盘空间时容量少于之前的
空间，系统会提示不允许这样操作。
3. 虚拟机导出：
34
这里有2种方式：
第一种是通过winscp进行导出，具体的方法是：
关闭虚拟机；
使用winscp并使用2222端口登陆到虚拟机所在的主机的CVM虚拟机，访问目录
/container/.acropolis/vmdisk进行到处。
具体的确认虚拟机的具体磁盘名称为使用命令nutanix@cvm$ ncli virtual-disk ls | grep -B 1
第二种方法为：
通过Prism页面，点击VM-Table，找到需要导出的虚拟机，记录虚拟机的名称，并将虚拟机
关机。
SSH登录虚拟机所在的主机的CVM虚拟机，执行acli命令
35
执行查找虚拟机
使用 windows-Test include_vmdisk_paths=1查看虚拟机的情况，并记录虚拟机的虚拟
磁盘路径和UUID
36
退出acli命令模式，并执行以下命令导出虚拟机
qemu-img convert -f raw -c nfs://127.0.0.1/OS/.acropolis/vmdisk/24d71827-a0db-4798-87ee-
8003c26bb -O qcow2 nfs://127.0.0.1/OS/2
其中/OS/.acropolis/vmdisk/24d71827-a0db-4798-87ee-8003c26bb为上一步记录的路径，
2为导出的文件
登录Prism界面，点击filesystem whitelist，添加文件访问白名单。
37
添加需要访问并拷贝的机器的IP地址
使用windows server 2012 浏览CVM的虚拟机IP地址，然后查看虚拟机文件并拷贝，并到
其它地方的环境中使用。
4. 虚拟机的磁盘分离和挂载（例如： Win701 这台机器坏了，如何取下Win701的D盘数
38
据盘，并挂载到新建机器win702上，使它成为Win702的D盘数据盘）
在一台虚拟机上添加一块2GB磁盘，然后写入相应的数据
找到这台虚拟机所在的物理主机和CVM
SSH登录所在的CVM，然后执行acli 查看虚拟机。
39
执行acli xhk-win7 include_vmdisk_paths=1 查看磁盘所在的路径
模拟机器crash，然后关闭虚拟机
打开prism，打开image service。
40
选择upload image
上传，选择刚才的磁盘的路径
41
上次传完成后如下图：
此时可以在需要挂载的虚拟机上添加这个磁盘。
选择一个新的需要挂载的虚拟机，点击update按钮，添加一个磁盘，磁盘的添加选择如下：
42
点击Add，点击Save按钮保存。
此时登录到虚拟机，发现多了一块磁盘。如下
将磁盘联机。查看磁盘的内容，发现数据完好。
5. 如何管理虚拟机的快照：
在AHV环境中虚拟机的快照是通过Prism界面进行管理的。具体的管理方法为：
登录到Prism界面，选择VM菜单
43
选择Table标签，进入虚拟机列表页面选择虚拟机。
找到需要进行快照的虚拟机后，可以通过下方的工具栏中Take Snapshot对虚拟机快照进行
管理：
44
3.3 AHV环境的网络配置
AHV虚拟化平台基于KVM技术，采用的网络管理主要是通过open vSwitch技术进行，所以
其底层的网络配置与VMware vSphere有些不同。
AHV的网络负载均衡技术主要有三种：
1. Active-Backup：
主备模式，这是AHV的默认负责均衡策略。也就是2块万兆网卡只有1块有流量通过，
另外1块万兆网卡无任何流量通过，只有在活动的网卡出现故障时，备用网卡才会成为
活动网卡承载网络流量，不需要在交换机进行任何配置，但是使用率只有50%。具体如
下图所示。
45
2. Balance-slb
与交换机无关的负载均衡策略，相当于VMware vSphere的“基于源端口路由”策略，所
有的虚拟机流量动态的使用2块网卡中的任何一块，实现负载均衡，但是任何一个虚拟
机的流量都不会超过1块上联物理网卡的流量，不需要交换机进行任何配置。如下图所
示：
3. LACP with balance TCP
链路聚合模式：这种模式可以充分利用多块上联网卡的带宽进行负载均衡，而且任何一
台虚拟机都可以同时使用所有上联网卡的带宽，从而达到大流量传输。需要交换机进行
配置。具体如下图：
46
AHV网络环境的配置命令：
1. 查看集群所有上联网卡的连接状态和带宽信息：
SSH登录到任何一个CVM执行以下命令：allssh "manage_ovs show_interfaces"
输入内容如下图：
47
2. 查看open vswitch（OVS）的bridge信息：
SSH登录到CVM执行以下命令：ssh root@15.2.21.2 ovs-vsctl show，（蓝色部
分为需要查看的AHV主机的地址）
3. 查看OVS使用哪些上联网卡：(br0是ovs bridge)
SSH登录到CVM执行以下命令：manage_ovs --bridge_name br0
show_uplinks（br0为上一步查询到的ovs bridge的名称），查看所有的host
的上联网卡使用allssh命令
4. 查看OVS的bridge的负载均衡策略：
SSH登录到CVM执行以下命令：ssh root@15.2.21.2 ovs-appctl bond/show
（蓝色为需要查看的AHV主机的IP地址）
48
5. 修改OVS的负载均衡策略：
SSH登录到CVM执行以下命令：
ssh root@15.2.21.2 "ovs-vsctl set port br0-up bond_mode=active-backup"
蓝色部分为需要修改的部分：
15.2.21.2为AHV主机的IP地址
br0-up为上一步命令查看的bond的名称
active-backup为负载均衡策略的名称
其中修改为balance-nlb策略的命令如下：
SSH登陆到CVM
ssh root@15.2.21.2 "ovs-vsctl set port br0-up bond_mode=balance-nlb"
ssh root@15.2.21.2 "ovs-vsctl set port br0-up other_config:bond-rebalance-interval=60000"
（默认情况下，rebalance的时间为10s，nutanix建议修改为60s）
修改为LACP with balance TCP策略的命令如下：
SSH登陆到CVM
ssh root@15.2.21.2 “ovs-vsctl set port br0-up lacp=active”
ssh root@15.2.21.2 “ovs-vsctl set port br0-up bond_mode=balance-tcp”
ssh root@15.2.21.2 “ovs-vsctl set port br0-up other_config:lacp-fallback-ab=true”
注意：
49
最后一条命令是指如果上联交换机的LACP出现问题，则默认会disable端口
br0-up，所有流量都无法通过。使用了这条设置会在这种情况下将负载均衡策
略调整为Active-Backup，保证流量通过。
4. 其它相关问题
4.1 Nutanix的license以及区分
对于license来说，Nutanix分为2个产品，1个是Acropolis，共有3个版本，分别是
Starter，Pro，Ultimate。Lenovo HX机器出厂默认自带Starter版本，另外2个版本需要另外
购买并需要用户自行在Nutanix官网进行激活。另外一个是Prism，有2个版本，分别是
Starter和Pro版本，所有版本的Acropolis都包含Starter的授权，但是Pro版本增加了一些
高级的智能化管理功能（如预测，高级查询等等），需要另外购买。
Acropolis和Prism的各个版本的主要功能区别参见Nutnaix官方网站：
/products/software-editions/
注意：
1. Starter版本的集群最多只有12个节点，其它版本不限。
2. Starter版本只能支持2副本，其它版本支持2副本和3副本。但是3副本至少需要5
个节点。
3. 纠删码只存在于Pro和Ultimate版本，Starter版本不具有此功能。纠删码功能需要最
少4个节点。
4. Inline Compression/Inline Performance Deduplication Vs MapReduce
Compression/MapReduce Deduplication：
Inline的去重和压缩式在Starter版本中，MapReduce的去重和压缩只能在Pro和
50
Ultimate版本才有。Inline是基于性能层的，也就是在SSD层面上进行，是基于op log
的去重和压缩，通俗讲就是SSD可以承载更多的数据用于加速（需要更多的CVM内
存）。但是无法实际节省空间。而MapReduce的去重和压缩是基于容量层的，也就是
基于最终保存时的数据压缩和去重。所以MapReduce的去重和压缩才能真正帮助用户
节省空间。
4.2 关于Prism Central
Prism Central是Nutanix的一个额外的组件，用于在一个界面中统一管理多个集群，并提供
性能预测，模糊查询等功能，但是使用全功能的Prism Central需要使用Pro的License。
Prism Central实际上是一个虚拟机，可以运行于Nutanix支持的三种虚拟化平台。下载地址：
/#/page/releases/prismDetails
Prism Central与Nutanix集群的网络通信需求：
Prism central与Nutanix集群的网络需求就是需要双方之间的9440端口可以相互通讯即可。
安装步骤：
1. 将下载的虚拟机磁盘导入到虚拟化平台上。下图为Prism Central在AHV下上传的界面。
51
2. 添加网卡到Prism Central的虚拟机；
3. 开启虚拟机，打开console，默认的登录信息如下：
用户名：nutanix
密码：nutanix/4u
52
4. 设置虚拟机的IP地址：
sudo vi /etc/sysconfig/network-scripts/ifcfg-eth0
5.
编辑hosts文件，删除不必要的条目
sudo vi /etc/hosts
53
编辑至如下图所示条目，并保存退出。
6. 重新启动，登录到Prism Central，执行以下命令，安装Prism Central组件。
cluster --cluster_function_list="multicluster" -s static_ip_address create
7. 此时，使用浏览器登录Prism Central的IP地址
54
默认用户名和密码如下：
用户名：admin
密码：admin
8. 在每一个需要被Prism Central管理的Nutanix集群的Prism页面中，注册其到Prism Central；
点击Prism页面右侧的齿轮图标，点击Prism Central Registration，输入Prism Central的
地址和用户名密码。
9. 注册成功后，就会在Prism Central中出现新添加的Nutanix集群。
55
4.3 如何进行初步的性能诊断
Nutanix集群安装完成后，CVM中内置性能测试脚本，供用户和管理员进行初步的网络和
IO性能测试，具体步骤如下：
网络带宽测试：
ssh登录到任何一台CVM虚拟机，执行以下命令：
nutanix@NTNX-J32CKD7-A-CVM:172.26.16.39:~$ ~/diagnostics/ run_iperf
Cleaning up node 172.26.16.37 ... done.
Cleaning up node 172.26.16.35 ... done.
Cleaning up node 172.26.16.36 ... done.
Cleaning up node 172.26.16.38 ... done.
Cleaning up the datastore, container and the storage pool ... done.
Running Iperf Test between CVMs
bandwidth between 172.26.16.39 and 172.26.16.41 is: 9.47 Gbits
bandwidth between 172.26.16.39 and 172.26.16.40 is: 9.49 Gbits
bandwidth between 172.26.16.39 and 172.26.16.42 is: 9.48 Gbits
上面结果可以看出10Gb的带宽可以得到保证。
性能测试：
ssh登录到任何一台CVM虚拟机，执行以下命令：
nutanix@NTNX-J32CKD9-A-CVM:172.26.16.42:~$ ~/diagnostics/ run
Checking if an existing storage pool can be used ...
Using storage pool default-storage-pool-23952738107671 for the tests.
56
Checking if the diagnostics container exists ... does not exist.
Creating a new container NTNX-NFS-DEFAULT for the runs ... done.
Mounting NFS datastore 'NTNX-NFS-DEFAULT' on each host ... done.
Preparing the UVM on host 172.26.16.37 ...
Deploying the diagnostics UVM on host 172.26.16.37 ...
Importing diagnostics image ... done.
Connecting to host ... done.
Disconnecting from host ... done.
Adding disks ... done.
Preparing the UVM on host 172.26.16.35 ...
Deploying the diagnostics UVM on host 172.26.16.35 ...
Importing diagnostics image ... done.
Connecting to host ... done.
Disconnecting from host ... done.
Adding disks ... done.
Preparing the UVM on host 172.26.16.36 ...
Deploying the diagnostics UVM on host 172.26.16.36 ...
Importing diagnostics image ... done.
Connecting to host ... done.
Disconnecting from host ... done.
Adding disks ... done.
Preparing the UVM on host 172.26.16.38 ...
Deploying the diagnostics UVM on host 172.26.16.38 ...
Importing diagnostics image ... done.
Connecting to host ... done.
Disconnecting from host ... done.
Adding disks ... done.
Waiting for VM on host 172.26.16.37 to bootup ... done. 3 remaining.
Waiting for VM on host 172.26.16.35 to bootup ... done. 2 remaining.
Waiting for VM on host 172.26.16.36 to bootup ... done. 1 remaining.
Waiting for VM on host 172.26.16.38 to bootup .... done. 0 remaining.
2017-01-04_22-58-05: Running setup "Prepare disks" ...
done.
Average CPU: 172.26.16.40: 26% 172.26.16.42: 28% 172.26.16.41: 26%
172.26.16.39: 24%
Duration prepare_disks : 35 secs
***************************************************************************
****
Duration fio_seq_write : 33 secs
***************************************************************************
****
Waiting for the hot cache to flush ... done.
2017-01-04_22-59-29: Running test "Sequential read bandwidth" ...
4164 MBps
Average CPU: 172.26.16.40: 15% 172.26.16.42: 14% 172.26.16.41: 13%
172.26.16.39: 12%
Duration fio_seq_read : 14 secs
***************************************************************************
****
Waiting for the hot cache to flush ... done.
2017-01-04_22-59-51: Running test "Random read IOPS" ...
326567 IOPS
Average CPU: 172.26.16.40: 72% 172.26.16.42: 71% 172.26.16.41: 71%
172.26.16.39: 72%
Duration fio_rand_read : 102 secs
***************************************************************************
****
Waiting for the hot cache to flush ... done.
2017-01-04_23-01-41: Running test "Random write IOPS" ...
227459 IOPS
Average CPU: 172.26.16.40: 50% 172.26.16.42: 53% 172.26.16.41: 50%
172.26.16.39: 49%
Duration fio_rand_write : 58 secs
***************************************************************************
****
Tests done.
Results archived in /home/nutanix/diagnostics/results/2017-01-04_22-53-55
期间CVM会自动创建测试的Container以及在Hypervisor上创建虚拟机进行测试，测试完
默认出厂为Starter版本，HX服务器内置，如果用户购买了Pro或更高版本的license，需
要使用用户的邮箱，在网站上注册。注册时需要使用任何一台HX节点
的序列号。
集群信息收集
在Nutanix集群部署完成后，点击Prism页面右上角的齿轮图标，找到Licensing页面，收
集集群信息，并保存。
Pro License获取
使用用户注册的账号登录，选择support portal页面，
59
在页面中，选择My Products—License，点击License A New Cluster
在页面中将收集到的集群信息文件上传，即可激活并下载license文件。
60
将下载的license文件保存，并在本地Prism页面的license的页面上传，即可激活Pro的
License授权。
5. 集群升级
5.1 集群健康检查
SSH任一节点的CVM nutanix@cvm$ ncc health_checks run_all
待运行完毕后出现如下信息检查无误后登陆Primse进行升级操作:
+-----------------+
| State | Count |
+-----------------+
| Pass | 162 |
| Info | 2 |
| Warning | 1 |
| Fail | 4 |
| Error | 0 |
| Total | 169 |
61
备注：Nutanix 官方给出文档是健康检查PASS状态方可进行升级，但是上图其中Fail 状态
为smtp、NTP、DNS未配置、网关通讯不通，Warning 信息为日志resolve,现场升级过程如
果是一些非致命令错误，导致CVM通讯异常，升级都是可以正常运行的。
5.2 Prism界面更新
1.登陆Web Prism界面，点击右上方齿轮，选择Upgrade Software
2.在Upgrade Software界面点击Acropolis, 选择浏览相关升级文件，Upload Now
62
3.在Prism主界面，点击tasks查看上传及5.0.1安装包过程，如下：
4.返回到Upgrade Software 界面，点击Upgrade
63
5.点击Open 可以看到各节点CVM Upgrading
64
6.在Upgrading过程中CVM会逐一轮流重启，此过程20分钟左右,如下10.1.2.214
Upgrading 100%后会自动重启
65
7.点击Prism界面的task 查看进度
ing 完成
66
Upgrade Software界面，点击Acropolis 显示更新后版本
10.更新Prism 设置语言界面多了中文选择，StorageContianer在原来划分的基础上新
增了NutanixManagementShare
67
6. 引用文档
1. Lenovo RackSwitch G8124-E Installation Guide, Second Edition
2. Lenovo RackSwitch G8124-E Application Guide
3. Networking Guide for Lenovo Converged HX Series Nutanix Appliances
4.
vSphere Administration Guide for Acropolis (using vSphere Web Client)
5. Prism Central Guide
68
发布者：admin，转转请注明出处：http://www.yc00.com/num/1700759146a1023547.html
评论列表（0条）