Vmware ramdisk“tmp”已满导致主机无法加入vcenter

By | 5月 14, 2020

问题现象:

Vcenter 6.5环境,突然一台主机在vcenter里发现不了,但是可以单独登陆,报错如下图示:出现了常规错误:没有初始化

登陆到主机发现如下报错:

问题分析

1. 影响范围

受影响的服务器型号:

HPE Gen9/10 服务器

受影响的操作系统版本:

VMwareESXi 6.0 or VMware ESXi 6.5 or VMware ESXi 6.7

导致问题出现的软件AMS版本:

11.4.0版本

通过esxcli命令行查看AMS版本,具体操作为:

#esxcli software vib list | grep ams

#amsd600.11.4.0-18.2494585 HPE PartnerSupported

2. 问题分析

On any of the HPE servers running VMware ESXi 6.0, VMware ESXi 6.5 or VMware ESXi 6.7 with Agentless Management Service (AMS) version 11.4.0 andlisted in the Scope section below, updating a VMware system via VMware UpdateManager may fail with an error indicating there is no room on /tmp to stageupdates.

Note: Other applications that depend on available diskspace in /tmp will also fail.

由于AMS的日志填充会导致tmp目录文件系统不断增大,因为空间满引起VMware Update Manager更新失败以及ESXi主机无响应。

具体CA分析详见:

https://support.hpe.com/hpsc/doc/public/display?docId=emr_na-a00073323en_us

解决方案

1. 永久解决方案

通过升级VMware AMS to version 11.4.5(included in the HPE Offline Bundle forESXi version 3.4.5),此版本已明确修复AMS filling up tmp andcausing VUM updates to Fail

安装方法如下:

(1)关闭或迁移虚拟机将主机进入维护模式

(2)上传esxi6.0uX-mgmt-bundle-3.4.5-8.zip到主机

(3)#esxcli software vib install -d <bundle.zip>

(4)重启生效,通过esxcli software vib list | grep ams确认升级的AMS版本

2. 临时解决方案

可以定期删除”ams-bbUsg.txt”file in the /tmp 以释放文件系统空间,对VMware VSAN和VMware vSphere环境来说,定期清理ams-bbusg.txt文件,不会引起任何风险,而且可以在线操作。

使用指令『localcli system visorfs ramdisk list』查看一下空间占用,此时 /tmp free应该是0%了;

进入 /tmp 下,使用指令『ls -lSh』,查看那个文件最大,发现一个ams-bbUsg.txt 最大,备份ams-bbUsg.txt到另外的pc上备用

通过指令『echo > ams-bbUsg.txt』,清空这个文件