VMwareServer障害対応Tips - Knowlege Database

目次†

目次
VMware Web Intafaceにて仮想マシンの追加ができない
VMware Web Intafaceにログインできなくなる
VMwareServerConsoleでログイン後に応答がなくなる
仮想マシンがダウンする

VMware Web Intafaceにて仮想マシンの追加ができない†

仮想マシンの作成・登録時にデータストアで以下のエラーが発生する。

The Datastore Browser could not successfully retrieve data from the server.

原因
不明

ワークアラウンド
[Add Datastore]より同じ領域を新しいDatastoreとして登録する。
仮想マシンの操作は新しいデータストアから行なう。

↑

VMware Web Intafaceにログインできなくなる†

ログイン画面のロード画面より先に進まなくなる障害。

原因
不明

対処
Web Management Interfaceを再起動する。
通常の停止スクリプトではvmware-hostdが落ちないため、手動で落す必要がある。

# /etc/init.d/vmware-mgmt stop
Stopping VMware management services:
  VMware Virtual Infrastructure Web Access
  VMware Server Host Agent                                [  OK  ]

以上の処理のあと、vmware-hostdを手動で落す。

# ps ax | grep vmware-hostd
[PID] ?        Ssl    0:05 /usr/lib/vmware/bin/vmware-hostd -a -d -u /etc/vmware/hostd/config.xml

kill [PID]

vmware-hostdが落ちたことを確認したあと、再度起動する。

# /etc/init.d/vmware-mgmt start 
Starting VMware management services:
  VMware Server Host Agent (background)                   [  OK  ]
  VMware Virtual Infrastructure Web Access

↑

VMwareServerConsoleでログイン後に応答がなくなる†

VMwareServerConsoleでログインしたあと、VMwareServerConsoleの応答がなくなり、ハングアップする。

原因
VMwareServer側のTCPラッパーでアクセス制限が設けられている場合に発生

↑

仮想マシンがダウンする†

VMwareServerから以下のログが出力され、仮想マシンがダウンする障害。

/var/log/vmware/vmware-serverd.log

app| VMServerd IPC closed the connection with thread  [仮想マシン設定ファイル].vmx (0x86adae8)
app| Lost connection to  [仮想マシン設定ファイル].vmx ( [仮想マシン設定ファイル].vmx) unexpectedly.
app| vmdbPipe_Streams Couldn't read: OVL_STATUS_EOF
app| VMHS: Connection to VM broken: cfg: [仮想マシン設定ファイル].vmx; error: Pipe: Read failed; state: 3
app| VM suddenly changed state: poweredOff.
app| VM suddenly changed state: poweredOff.
app| VM suddenly changed state: poweredOff.
app| cleanup: cleaned up 1 objects

原因
CentOS 5 + VMwareServer 1.xで発生する現象。
CentOS 4.5 + VMwareServer 1.xでも同様の現象が発生。仮想マシン3台が稼働中の環境にて2台がダウン。（2008/08/29）
CentOS 4.7 + VMwareServer 2.xでも同様の現象が発生。（2008/10/16）
RAIDコントローラ（Ciprico RAIDCore RC5152-08）が原因と判明
RAIDコントローラを3Ware 9690SAへ変更を行ったところ、本現象は一切発生しなくなった。(2008/11/12)

対策
対策は発見できず。(CentOS5でVMwareServerを使用しない方法で対応)

ワークアラウンド
仮想マシンの電源が落ちる現象を可決できないことから、ワークアラウンドとして定期的に仮想マシンの稼動状態を監視し、ダウンした場合は立ち上げなおすスクリプトを生成。

vmcheck.sh
プロセスから仮想マシンの稼働状況を把握し、プロセスが存在しない場合はvmboot.shを使用して仮想マシンを起動する。

#!/bin/sh
# ------------------------
#  VM Bootup Script
# ------------------------
# Version : 1.0
# date    : 2008/10/19

export LANG=C
export PATH=/bin:/sbin:/usr/bin:/usr/sbin:$PATH

## Set
VMBOOT=/home/system/scripts/apl/vmware/vmboot.sh
VMCKLOG=/home/system/logs/vm-check.log
VMLIST=/home/system/logs/vmlist.txt 

## Cheack

# CentOS-Web
VMNAME=CentOS-Web
ps ax | grep vmx | grep $VMNAME > /dev/null
if [ $? -eq 1 ]; then
 date +%Y/%m/%d\ %H:%M:%S >> $VMCKLOG
 echo $VMNAME >> $VMCKLOG
 $VMBOOT $VMNAME >> $VMCKLOG 2>&1
 sleep 20
 echo "------------------" >> $VMCKLOG
fi

exit 0
# EOF

vmlist.sh
vmware-vim-cmdを使用し、仮想マシンとVMIDのリストを作成。

#!/bin/sh
# ------------------------
#  VM List Script
# ------------------------
# Version : 1.0
# date    : 2008/10/19

export LANG=C
export PATH=/bin:/sbin:/usr/bin:/usr/sbin:$PATH

## Set
VMCMD=/usr/bin/vmware-vim-cmd
VMLIST=/home/system/logs/vmlist.txt

## Exec

$VMCMD vmsvc/getallvms > $VMLIST

exit 0
# EOF

vmboot.sh
vmlist.shから出力されたリストからVMIDを取得し、引数で渡された仮想マシンをvmware-vim-cmdを使用してVMを起動。

#!/bin/sh
# ------------------------
#  VM Bootup Script
# ------------------------
# Version : 1.0
# date    : 2008/10/19

export LANG=C
export PATH=/bin:/sbin:/usr/bin:/usr/sbin:$PATH

## Set
VMCMD=/usr/bin/vmware-vim-cmd
VMLIST=/home/system/logs/vmlist.txt

## Check
if [ -z $1 ]; then
 echo "ERR : please VM name"
 echo "USE : ./vmboot.sh [VM NAME]" 
 exit 0
else
 VMNAME=$1
fi

## Get vmid
cat $VMLIST | grep $VMNAME > /dev/null 2>&1

if [ $? -eq 1 ]; then
 echo "ERR:"$VMNAME" - not found "
 exit 0
fi

## Bootup
VMID=`cat $VMLIST | grep $VMNAME`

$VMCMD vmsvc/power.on $VMID

exit 0
# EOF