VMwareServer障害対応Tips

目次 †

VMware Web Intafaceにて仮想マシンの追加ができない †

仮想マシンの作成・登録時にデータストアで以下のエラーが発生する。

The Datastore Browser could not successfully retrieve data from the server.

• 原因
  不明

• ワークアラウンド
  [Add Datastore]より同じ領域を新しいDatastoreとして登録する。
  仮想マシンの操作は新しいデータストアから行なう。

VMware Web Intafaceにログインできなくなる †

ログイン画面のロード画面より先に進まなくなる障害。

• 原因
  不明

• 対処
  Web Management Interfaceを再起動する。
  通常の停止スクリプトではvmware-hostdが落ちないため、手動で落す必要がある。

# /etc/init.d/vmware-mgmt stop
Stopping VMware management services:
  VMware Virtual Infrastructure Web Access
  VMware Server Host Agent                                [  OK  ] 

以上の処理のあと、vmware-hostdを手動で落す。

# ps ax | grep vmware-hostd
[PID] ?        Ssl    0:05 /usr/lib/vmware/bin/vmware-hostd -a -d -u /etc/vmware/hostd/config.xml

kill [PID]

vmware-hostdが落ちたことを確認したあと、再度起動する。

# /etc/init.d/vmware-mgmt start 
Starting VMware management services:
  VMware Server Host Agent (background)                   [  OK  ]
  VMware Virtual Infrastructure Web Access

VMwareServerConsoleでログイン後に応答がなくなる †

VMwareServerConsoleでログインしたあと、VMwareServerConsoleの応答がなくなり、ハングアップする。

• 原因
  VMwareServer側のTCPラッパーでアクセス制限が設けられている場合に発生

仮想マシンがダウンする †

VMwareServerから以下のログが出力され、仮想マシンがダウンする障害。

• /var/log/vmware/vmware-serverd.log

  app| VMServerd IPC closed the connection with thread  [仮想マシン設定ファイル].vmx (0x86adae8)
  app| Lost connection to  [仮想マシン設定ファイル].vmx ( [仮想マシン設定ファイル].vmx) unexpectedly.
  app| vmdbPipe_Streams Couldn't read: OVL_STATUS_EOF
  app| VMHS: Connection to VM broken: cfg: [仮想マシン設定ファイル].vmx; error: Pipe: Read failed; state: 3
  app| VM suddenly changed state: poweredOff.
  app| VM suddenly changed state: poweredOff.
  app| VM suddenly changed state: poweredOff.
  app| cleanup: cleaned up 1 objects

• 原因
  CentOS 5 + VMwareServer 1.xで発生する現象。
  CentOS 4.5 + VMwareServer 1.xでも同様の現象が発生。仮想マシン3台が稼働中の環境にて2台がダウン。（2008/08/29）
  CentOS 4.7 + VMwareServer 2.xでも同様の現象が発生。（2008/10/16）
  RAIDコントローラ（Ciprico RAIDCore RC5152-08）が原因と判明
  RAIDコントローラを3Ware 9690SAへ変更を行ったところ、本現象は一切発生しなくなった。(2008/11/12)
  

• 対策
  対策は発見できず。(CentOS5でVMwareServerを使用しない方法で対応)

• ワークアラウンド
  仮想マシンの電源が落ちる現象を可決できないことから、ワークアラウンドとして定期的に仮想マシンの稼動状態を監視し、ダウンした場合は立ち上げなおすスクリプトを生成。

• vmcheck.sh
  プロセスから仮想マシンの稼働状況を把握し、プロセスが存在しない場合はvmboot.shを使用して仮想マシンを起動する。

  #!/bin/sh
  # ------------------------
  #  VM Bootup Script
  # ------------------------
  # Version : 1.0
  # date    : 2008/10/19
  
  export LANG=C
  export PATH=/bin:/sbin:/usr/bin:/usr/sbin:$PATH
  
  ## Set
  VMBOOT=/home/system/scripts/apl/vmware/vmboot.sh
  VMCKLOG=/home/system/logs/vm-check.log
  VMLIST=/home/system/logs/vmlist.txt 
  
  ## Cheack
  
  # CentOS-Web
  VMNAME=CentOS-Web
  ps ax | grep vmx | grep $VMNAME > /dev/null
  if [ $? -eq 1 ]; then
   date +%Y/%m/%d\ %H:%M:%S >> $VMCKLOG
   echo $VMNAME >> $VMCKLOG
   $VMBOOT $VMNAME >> $VMCKLOG 2>&1
   sleep 20
   echo "------------------" >> $VMCKLOG
  fi
  
  exit 0
  # EOF

• vmlist.sh
  vmware-vim-cmdを使用し、仮想マシンとVMIDのリストを作成。

  #!/bin/sh
  # ------------------------
  #  VM List Script
  # ------------------------
  # Version : 1.0
  # date    : 2008/10/19
  
  export LANG=C
  export PATH=/bin:/sbin:/usr/bin:/usr/sbin:$PATH
  
  ## Set
  VMCMD=/usr/bin/vmware-vim-cmd
  VMLIST=/home/system/logs/vmlist.txt
  
  ## Exec
  
  $VMCMD vmsvc/getallvms > $VMLIST
  
  exit 0
  # EOF

• vmboot.sh
  vmlist.shから出力されたリストからVMIDを取得し、引数で渡された仮想マシンをvmware-vim-cmdを使用してVMを起動。

  #!/bin/sh
  # ------------------------
  #  VM Bootup Script
  # ------------------------
  # Version : 1.0
  # date    : 2008/10/19
  
  export LANG=C
  export PATH=/bin:/sbin:/usr/bin:/usr/sbin:$PATH
  
  ## Set
  VMCMD=/usr/bin/vmware-vim-cmd
  VMLIST=/home/system/logs/vmlist.txt
  
  ## Check
  if [ -z $1 ]; then
   echo "ERR : please VM name"
   echo "USE : ./vmboot.sh [VM NAME]" 
   exit 0
  else
   VMNAME=$1
  fi
  
  ## Get vmid
  cat $VMLIST | grep $VMNAME > /dev/null 2>&1
  
  if [ $? -eq 1 ]; then
   echo "ERR:"$VMNAME" - not found "
   exit 0
  fi
  
  ## Bootup
  VMID=`cat $VMLIST | grep $VMNAME`
  
  $VMCMD vmsvc/power.on $VMID
  
  exit 0
  # EOF