VMware vSphere Hypervisor (ESXi 6.0でのNested ESXi/Hyper-V)

2015年3月12日に無償評価版のVMware vSphere Hypervisor(ESXi)の6.0.0がリリースされました。
その後、6.0.0b(2015年7月7日)、6.0.0 Update 1(2015年9月10日)、6.0.0 Update 2(2016年3月15日)が順次リリースされました。

ここではESXi 6.0(正確には6.0.0 Update 2)の簡単な利用方法を下記の流れに沿ってご紹介致します。
(1)実ESXiホストの構築
(2)仮想マシンへのWindows Server 2016 Technical Preview 4(TP4)のインストール
(3)仮想ESXiホストの構築(仮想マシンへのESXi 6.0のインストール)
(4)Nested ESXiの例として仮想ESXiホスト上の32ビット仮想マシンの実行(Windows 10 Enterpriseのインストール等)
(5)Nested ESXiの例として仮想ESXiホスト上の64ビット仮想マシンの実行(ESXi等)
(6)実ESXi 6.0ホスト上での仮想Hyper-Vホストの構築
(7)仮想ESXiホストのネスト化(Nested ESXi)

今回使用したPCのハードウェア/ソフトウェア構成は以下の通りです。


■ ESXi 6.0の概要
以前VMware Virtual Desktop Infrastructure 3.5 Update 1 日本語版(VMware ESX Server 3.5 Update 1)をご紹介致しましたが
ESXi 6.0ではかなり違ったOSになっているため改めてESXi 6.0の特徴などを簡単にご紹介致します。
(1)ESXi 6.0のOS名は「ESXi」です。
(2)ESXi 6.0のカーネルは「VMKernel」といいます(64ビット版)。
(3)VMware ESX Server 3.5はCentOS 3.6ベースのLinuxで実装されていましたが、ESXi 6.0はLinuxライクな面を一部だけ持った独自かつコンパクトなHypervisor OSです。
※ESXi 6.0のコマンドコンソールで使用可能なコマンド一覧はこちらです(chkconfig,inetd等はありますが、ifconfigはありません)。
(4)ESXi 6.0のコマンドコンソール(ESXiシェル)はOSをインストールしただけでは使用できず「ESX シェル」サービスを起動してから利用可能となります。
※同様にESXi 6.0のSSHサーバもOSをインストールしただけでは使用できず「SSH」サービスを起動してから利用可能となります。
(5)ESXi 6.0をインストールしたディスクはGPT形式で例えばデータストア等のファイルシステムは「VMFS」形式でLinuxからは認識できないファイルシステム(不明)になっています。
(6)ESXi 6.0がエミュレートするネットワークアダプタは「Intel 82574L Gigabit Network Connection」です。
(7)VMware ESX Server 3.5のリモート管理ソフトはVirtual Infrastructure Client(viclient)と呼ばれていましたが、
ESXi 6.0用リモート管理ソフトはVMware vSphere Clientと呼ばれています(これもVirtual Infrastructureの名残でviclientと呼ばれることがあります)。
(8)実ESXi 6.0ホスト上の仮想マシンにESXi 6.0をインストールして仮想ESXi 6.0ホストを構築してその仮想ESXi 6.0ホスト上で仮想マシンを実行できます(「Nested ESXi (6.0)」と呼ばれています)。
※Nested ESXiにおける仮想ESXiホストの最大ネスト数は不明です(vsESXi[第1レベル]→vsesxi2[第2レベル]→vsesxi3[第3レベル]のようにネストさせようとするとvsesxi3[第3レベル]の構築でネットワークアダプタが認識されない問題(No Network Adapters)が発生してESXi 6.0のインストールをキャンセルせざるを得ません)。
しかしvsesxi3の仮想メモリを2GBから4GBに増やすと「No Network Adapters」問題は発生せずにインストールも正常終了してvsesxi3上で64ビット仮想マシンも実行できます。
(9)デフォルトではESXi 6.0をインストールしただけの仮想ESXiホスト上で32ビット仮想マシンを実行できます。
(10)仮想ESXiホスト上で64ビット仮想マシンを実行可能とするには仮想ESXi 6.0ホスト用仮想マシンのVMXファイル(データストア中に存在するファイル)の中に以下の2行を追加する必要があります。
vhv.enable = "TRUE"
featMask.vm.hv.capable = "Min:1"
(11)仮想ESXiホスト上の仮想マシンでネットワークを使用可能とするためには実ESXi 6.0ホストの「VM Network」のセキュリティ設定で[無差別モード：拒否]を[無差別モード：承諾]に変更しておく必要があります。
(12)実ESXi 6.0ホストの仮想マシンにWindows Server 2016 Technical Preview 4(TP4)をインストールして仮想Hyper-Vホストを構築し、その仮想Hyper-Vホスト上でHyper-V仮想マシンを実行することができます(「Hyper-V on ESXi」)。
※実ESXi 6.0ホストの仮想マシンにWindows Server 2016 TP4をインストールしてHyper-Vの役割・機能を導入する際もその仮想マシンのVMXファイル(データストア中に存在するファイル)の中に以下の2行を追加しておく必要があります。
vhv.enable = "TRUE"
featMask.vm.hv.capable = "Min:1"
(13)ESXiホスト上の仮想マシンのメモリ量としてESXiホストのメモリ量以上を割り当てることができます(Hyper-Vでは仮想マシンのメモリ割り当ての警告表示や変更エラーとなったり、指定可能範囲のメモリ設定をしてもメモリ不足で起動エラーとなったりします)。
この特性を元に実機の搭載メモリ以上を仮想マシンに割り当てたい場合は仮想ESXiホストを利用すればOKです。
(14)従来よりVMware環境(VMware Server等)で「Xenの準仮想化」は実現できていましたが、ESXi 6.0のレベルになるとNested ESXi環境含めて「Xenの完全仮想化(Xen HVM domU)」も実現可能になっています。
これらの詳細については下記をご参照下さい。
・オープンギャラリー：Xen 3.0.4(Xen on VMware編)
・オープンギャラリー：Xen 4.4.2(ESXi 6.0-SLES 11利用による完全仮想化対応「仮想Xenホスト」の構築編)


■ 実ESXi 6.0ホストの構築

ESXi 6.0(正確には6.0.0 Update 2)の無償評価版のISOイメージファイルはhttps://my.vmware.com/jp/web/vmware/evalcenter?p=free-esxi6から取得できます。
そのISOイメージファイルはVMware-VMvisor-Installer-6.0.0.update02-3620759.x86_64.isoです(約360MB)。
VMware vSphere Hypervisor 6のライセンスキー(例：1AAAA-2BBBB-3CCCC-4DDDD-5EEEE)も同時に取得しておきます。
更にVMware vSphere Client 6.0 Update 2のEXEファイル(VMware-viclient-all-6.0.0-3562874.exe)もダウンロードします。
実ESXi 6.0ホストの構築手順はESXi 5.5の場合とほぼ同じです。
※ESXi 5.5の構築手順の日本語ドキュメント(VMware ESXi5かんたんインストールガイド_v1.0 JP.docx)はhttps://na6.salesforce.com/sfc/p/400000009hQR/a/800000008aGf/aIn_U_7zplx6007vPjk61UAcPE57i7D1k4S_0lStoXA=からダウンロードできます。
ESXi 5.5用のVMware ESXi5かんたんインストールガイド_v1.0 JP.docxの内容とESXi 6.0のインストール手順では若干の相違点もありここでは一通り説明致します。

  1. ESXi 6.0のインストーラ(VMware-VMvisor-Installer-6.0.0.update02-3620759.x86_64.isoのCD-ROM)の起動
  2. 「ESXi-6.0.0-20160302001-standard Boot Menu」画面で[ESXi-6.0.0-20160302001-standard Installer]を起動
  3. Welcome to the VMware ESXi 6.0.0 Installation
    →(Enter) Continue
  4. End User License Agreement(EULA)
    →(F11) Accept and Continue
  5. Select a Disk to Install or Upgrade
    →インストール先ディスク(今回は「ATA WDC WD2500JS-22M (t10.ATA_____...) 232.89 GiB」)を選択して、(Enter) Continue
  6. Confirm Install


    →(F11) Install

  7. Please select a keyboard layout
    →「Japanese」を選択して、(Enter) Continue
  8. Please enter a root password (recommended)
    →7文字以上のパスワードを指定して、(Enter) Continue
  9. Confirm Install
    →(F11) Install
  10. Installing ESXi 6.0.0 xx %表示


  11. Installation Complete


    →(Enter) Reboot
    ※本無償評価版はインストール後60日間が評価期間でありそれを過ぎると仮想マシンを実行できなくなります。
    60日経過後も永続的に使用可能とするためにはVMware vSphere Hypervisor 6の無償のライセンスキー(例：1AAAA-2BBBB-3CCCC-4DDDD-5EEEE)をESXi 6.0ホスト側に登録すればOKです(詳細は後述)。

  12. 再起動後のESXi 6.0メイン画面
    再起動後は以下の内容でのESXi 6.0メイン画面が表示されます。
    VMware ESXi 6.0.0 (VMKernel Release Build 3620759)
    プラットフォーム名
    プロセッサ情報
    xx GiB Memory

    -------------------------------------------------------------------------------------------------------------------
    Download tools to manage this host from:
    http://動的IPアドレス/ (DHCP)
    ....


    <F2> Customize System/View Logs
    <F12> Shut Down/Restart



    →(F2) Customize System/View Logs

  13. Authentication Required
    →rootユーザのパスワードを指定して、(Enter) OK
  14. 「System Customization」というシステム設定(メイン)画面
    →[Configure Management Network]を選択して、(Enter) Change
  15. 「Configure Management Network」画面
  16. 「System Customization」というシステム設定(メイン)画面
    →(Esc) Log OutでESXi 6.0メイン画面に戻ります。
    ※ESXi 6.0メイン画面のDownload tools to manage this host from:欄に「http://esxi/」が追加表示されます。
    ・http://esxi/での表示内容はこちらです。

  17. ESXiリモート管理ソフト(VMware vSphere Client 6.0)の導入
    ESXiリモート管理用PCにESXiリモート管理ソフト(VMware vSphere Client 6.0)を導入します。
    ダウンロード済みのVMware-viclient-all-6.0.0-3562874.exeを実行してVMware vSphere Client 6.0をインストールします。



  18. VMware vSphere ClientからESXi 6.0ホストへのログイン
    VMware vSphere Clientを起動してESXi 6.0ホストにrootユーザでログインします。



  19. 無償評価版ライセンスキーの登録
    無償評価版はインストール後60日間が評価モード期間でありそれを過ぎると仮想マシンを実行できなくなります。
    VMware vSphere Clientでログインする毎に下記のような「VMware評価の通知」が表示されます。



    60日経過後も永続的に使用可能とするためにはVMware vSphere Hypervisor 6の無償のライセンスキー(例：1AAAA-2BBBB-3CCCC-4DDDD-5EEEE)をESXi 6.0ホスト側に登録すればOKです(下記手順参照)。

  20. ESXi 6.0のコマンドコンソール(ESXiシェル)のサービス起動
    ESXi 6.0のコマンドコンソール(ESXiシェル)はOSをインストールしただけでは使用できず「ESX シェル」サービスを起動設定してから利用可能となります。

  21. ESXi 6.0のSSHサーバの起動
    ESXi 6.0のSSHサーバもOSをインストールしただけでは使用できず「SSH」サービスを起動設定してから利用可能となります。
    下記はESXi 6.0ホストへのSSH接続操作例です。



    ちなみにESXi 6.0ホストのファイルシステムをナビゲートしてみた例はこちらです。
    尚、各仮想マシンの状態は「vm-support -V」コマンドで確認できます。

  22. 仮想ESXiホスト上の仮想マシンでネットワークを使用可能とするための設定
    仮想ESXiホスト上の仮想マシンでネットワークを使用可能とするためには実ESXi 6.0ホストの標準スイッチ(vSwitch0)のプロパティを開き、
    「VM Network」のセキュリティのポリシー例外での[無差別モード：拒否]を[無差別モード：承諾]に変更しておく必要があります(無差別モード=Promiscuous mode)。



  23. データストレージの追加(任意)
    高速性が要求される用途の仮想マシンについてはSSD等の高速なデータストア(データストレージ)に配置するのがベターです。
    必要に応じてデータストアを追加しておきます。

■ 仮想マシンへのWindows Server 2016 Technical Preview 4(TP4)のインストール

ESXi 6.0ホスト上の仮想マシンにWindows Server 2016 TP4をインストールしてみました。
  1. 仮想マシン定義
    ・仮想マシン名：vsWS16TP4
    ・仮想マシンのバージョン：11(デフォルト)
    ・ゲストOS(Windows)のバージョン：[Microsoft Windows Server 2016 (64ビット)]
    ・ネットワーク接続の設定：説明略
    ・仮想ディスク：サイズ=127GB、ディスクプロビジョニング=シックプロビジョニング(Lazy Zeroed)(容量固定タイプ)
    ・この時点での新規仮想マシンの作成ウィザードでの「終了準備の完了」(要約)の表示内容はこちらです。
    ・CD/DVDドライブ1のデータストアISOファイル：10586.0.151029-1700.TH2_RELEASE_SERVER_OEMRET_X64FRE_JA-JP.ISO(約5.1GB)
    ※事前に[データストアの参照]で10586.0.151029-1700.TH2_RELEASE_SERVER_OEMRET_X64FRE_JA-JP.ISOファイルをデータストアにアップロードしておきます。

  2. 仮想マシンへのWindows Server 2016 TP4のインストール



  3. インストール完了

  4. VMware Toolsのインストール
    [仮想マシン]-[ゲスト]-[VMware Toolsのインストール/アップグレード]でVMware Toolsを標準インストールします。

  5. USBコントローラの追加
    仮想マシンをシャットダウンして、USBコントーラとして[xHCI(USB 3.0含む)]を選択して追加します。

  6. iPhone接続
    (1)事前に仮想マシン(vsWS16TP4)の「設定の編集」で忘れずにUSBコントローラを追加しておきます。
    (2)仮想マシンのWindows Server 2016 TP4にiTunesをインストールします。
    (3)VMware vSphere Client側PCのUSBコネクタにiPhoneをUSBケーブルで接続します。
    (4)[仮想マシンへのUSBデバイスの接続または接続切断]アイコンの[USBデバイスに接続]-[Apple iPhone]で仮想マシンにiPhoneを接続します。

  7. vsWS16TP4のデスクトップ例



  8. 仮想マシンでのブート順序の変更
    (1)仮想マシンのコンソール画面でパワーオンしてF2キーを押すとSETUP画面(BIOS設定画面)が表示されます。



    (2)デフォルトのブート順序ではCD-ROMからのブートが3番目になっているためそれを変更したい場合は「+」/「-」キーでブート順序を変更できます。




■ 仮想ESXiホストの構築(仮想マシンへのESXi 6.0のインストール)

「Nested ESXi 6.0」検証の一環として仮想ESXiホストの構築(仮想マシンへのESXi 6.0のインストール)を実施してみました。
  1. 仮想マシン定義
    ・仮想マシン名：vsESXi
    ・ゲストOS(その他)のバージョン：[VMware ESXi 6.0]
    ・ネットワーク接続の設定：説明略
    ・仮想ディスク：サイズ=60GB、ディスクプロビジョニング=Thin Provision(容量可変タイプ)
    ・CD/DVDドライブ1のデータストアISOファイル：VMware-VMvisor-Installer-6.0.0.update02-3620759.x86_64.iso
    ※事前に[データストアの参照]でVMware-VMvisor-Installer-6.0.0.update02-3620759.x86_64.isoファイルをデータストアにアップロードしておきます。

  2. 仮想マシンへのESXi 6.0のインストール：説明略(ESXi 6.0用VMware Toolsは自動インストールされます)

  3. vsESXiの起動

  4. vsESXiのメイン画面
    下記はvsESXiのメイン画面を表示させて、かつVMware vSphere Clientを起動して仮想ESXi 6.0ホスト(vsESXi)にログインした様子です。



    ・実寸画像はこちらです。

  5. ライセンス登録
    実ESXi 6.0ホストの構築時の無償評価版ライセンスキーの登録手順と同様に仮想ESXi 6.0ホスト(vsESXi)に対してもVMware vSphere Hypervisor 6の無償ライセンスキーを登録します。

■ Nested ESXi 6.0の例：仮想ESXiホスト上の32ビット仮想マシンの実行(Windows 10 Enterpriseのインストール等)

実ESXi 6.0ホスト上の仮想マシンにESXi 6.0をインストールするとその仮想マシンは仮想ESXi 6.0ホストになります。
但し、その仮想ESXi 6.0ホスト上では32ビット仮想マシンしか実行できないという制限があります。

  1. Ubuntu 14.04 (32ビット版)の仮想マシン(vsLiveL2)でのライブ実行例(仮想マシン定義：説明略)



    ・実寸画像はこちらです。

  2. Windows 10 Enterprise (32ビット版)の仮想マシン(vsW10EntL2)へのインストールと実行(仮想マシンの設定内容)

■ Nested ESXi 6.0の例：仮想ESXiホスト上の64ビット仮想マシンの実行(ESXi 6.0のインストール等)

  1. 仮想ESXiホスト上で64ビット仮想マシンを実行させるためのVMXファイルの手動更新
    仮想ESXiホスト(vsESXi)上で64ビット仮想マシンを実行可能とするにはその仮想ESXi 6.0ホスト用仮想マシンのVMXファイル(データストア中に存在するファイル)の中に以下の2行を追加します。
    VMXファイルの変更はデータストア中に存在するVMXファイル(vsESXi.vmx)をダウンロード([データストアの参照])、変更、アップロード([データストアの参照])で実施します。
    vhv.enable = "TRUE"
    featMask.vm.hv.capable = "Min:1"
    ※VMXファイルに本設定を追加せずに仮想ESXiホスト上で64ビット仮想マシンを起動すると仮想マシンの起動失敗エラーが表示されます。
    尚、仮想ESXiホスト(vsESXi)のプロパティにおいて「CPU/MMU仮想化」の値はデフォルトの[自動]のままとします。
    VMXファイルにおける「vhd.enable」という項目は[ハードウェアアシストによる仮想化をゲストOSに公開]という属性項目のことです。
    VMXファイルで指定した仮想化情報や設定の編集のオプションで指定した内容が有効になっているかどうかの確認はVMware Host Client(vSphere Web Client)で確認できます。
    (https://実ESXiホストアドレス/uiを開いてrootでログインして仮想マシンの[設定の編集]のCPUセクションを展開して「仮想化」情報を確認します)
    [ハードウェアアシストによる仮想化をゲストOSに公開]：オンになっていればその仮想マシン上で別の仮想マシンを実行できます。




  2. Ubuntu 14.04 (64ビット版)の仮想マシン(vsLivex64L2)でのライブ実行例(仮想マシン定義：説明略)



    ・実寸画像はこちらです。

  3. ESXi 6.0 (64ビット版)の仮想マシン(vsesxil2)へのインストールと実行(仮想マシン定義：説明略)
  4. 仮想ESXiホストのメモリ量以上をUbuntu 14.04 (64ビット版)の仮想マシン(vsLivex64L2)に割り当ててのライブ実行例(vSphere vCenterを導入してデータセンタ定義してからのものです)
    ・仮想ESXiホストのメモリ：8GB(8192MB)
    ・仮想マシン(vsLivex64L2)のメモリ：24GB
    ・Ubuntu 14.04 (64ビット版)の仮想マシン(vsLivex64L2)の実行の様子(この時の24GBメモリ割り当て状況確認)


■ 実ESXi 6.0ホスト上での仮想Hyper-Vホストの構築(Windows Server 2016 TP4編)

  1. 仮想Hyper-Vホスト構築のためのVMXファイルの手動更新
    Windows Server 2016 TP4をインストールした上述の仮想マシン(vsWS16TP4)にHyper-Vの役割・機能を導入してvsWS16TP4を仮想Hyper-VホストにするためにはそのvsWS16TP4.vmxファイル(データストア中に存在するファイル)の中に以下の2行を追加します(仮想Hyper-Vホスト上で32ビットOSだけを動作させる場合でもこのVMXファイルの更新が必要)。
    VMXファイルの変更はデータストア中に存在するVMXファイル(vsWS16TP4.vmx)をダウンロード([データストアの参照])、変更、アップロード([データストアの参照])で実施します。
    vhv.enable = "TRUE"
    featMask.vm.hv.capable = "Min:1"
    尚、仮想Hyper-Vホスト(vsWS16TP4)のプロパティにおいて「CPU/MMU仮想化」の値はデフォルトの[自動]のままとします。
    これらの設定が正しく行われていない場合、systeminfoで「Hyper-Vの要件： ハイパーバイザーが検出されました。」と表示されてもHyper-Vの役割・機能のインストールで「Hyper-Vをインストールできません。必要な仮想化機能がプロセッサにありません。」エラーとなります。

  2. 仮想Hyper-Vホスト化する仮想マシンへのHyper-Vの役割・機能の導入
  3. Linuxライブ実行用Hyper-V仮想マシンの定義(32ビット/64ビットゲストOS兼用)とライブ実行
  4. 仮想Hyper-Vホストのネスト化(Hyper-VのNested Virtualization)

■ 実ESXi 6.0ホスト上での仮想Hyper-Vホストの構築(Hyper-V Server 2016 TP4編)

1台のPC上で無償のESXiと無償のHyper-V Serverを同時に利用できる環境があるとかなり重宝します。
VMware vSphere Hypervisor(ESXi)の6.0.0 Update 2がリリースされた2016年3月15日時点での最新のHyper-V Server正式リリース版はHyper-V Server 2012 R2です。
ここでは来たる「Hyper-V Server 2016」の正式版のリリースに先立ってESXi 6.0とHyper-V Server 2016 TP4を同時に使用する方法(つまり実ESXi 6.0ホスト上でHyper-V Server 2016 TP4を仮想Hyper-Vホストにする手順)を紹介します。
  1. 仮想マシン定義
    ・仮想マシン名：vsHVS16TP4(HVSはHyper-V Serverの略)
    ・仮想マシンのバージョン：11(デフォルト)
    ・ゲストOS(Windows)のバージョン：[Microsoft Windows Server 2016 (64ビット)]
    ・ネットワーク接続の設定：説明略
    ・仮想ディスク：サイズ=2000GB、ディスクプロビジョニング=Thin Provision(容量可変タイプ)
    ・この時点での新規仮想マシンの作成ウィザードでの「終了準備の完了」(要約)の表示内容はこちらです。
    ・CD/DVDドライブ1のデータストアISOファイル：10586.0.151029-1700.TH2_RELEASE_SERVERHYPERCORE_OEM_X64FRE_JA-JP.ISO(約2.4GB)
    ※事前に[データストアの参照]で10586.0.151029-1700.TH2_RELEASE_SERVERHYPERCORE_OEM_X64FRE_JA-JP.ISOファイルをデータストアにアップロードしておきます。

  2. 仮想マシンへのHyper-V Server 2016 TP4のインストール



  3. インストール完了

  4. サーバ構成(sconfig)でのコンピュータ名やネットワーク設定の変更(説明略)

  5. ファイアウォール設定(説明略)

  6. VMware Toolsのインストール(任意)
    特別なドライバが必要な場合は[仮想マシン]-[ゲスト]-[VMware Toolsのインストール/アップグレード]でVMware Toolsを標準インストールします。
    ※VMware Toolsのインストーラの起動はD:\setup.exeで行えます。
    今回はVMware Toolsのインストールを途中でキャンセルしました。

  7. Hyper-V Server対応アプリの導入(任意)
    今回はHyper-V Server対応アプリとしてFirefoxNightlyとPuTTYを導入して実ESXiサーバにhttp/ssh接続してみました。



    更にGIMPも追加導入してGIMPによる画像表示も実行してみました。

  8. 仮想Hyper-Vホスト構築のためのVMXファイルの手動更新
    Hyper-V Server 2016 TP4をインストールした上述の仮想マシン(vsHVS16TP4)を仮想Hyper-VホストにするためにはそのvsHVS16TP4.vmxファイル(データストア中に存在するファイル)の中に以下の2行を追加します(仮想Hyper-Vホスト上で32ビットOSだけを動作させる場合でもこのVMXファイルの更新が必要)。
    VMXファイルの変更はデータストア中に存在するVMXファイル(vsHVS16TP4.vmx)をダウンロード([データストアの参照])、変更、アップロード([データストアの参照])で実施します。
    vhv.enable = "TRUE"
    featMask.vm.hv.capable = "Min:1"
    尚、仮想Hyper-Vホスト(vsHVS16TP4)のプロパティにおいて「CPU/MMU仮想化」の値はデフォルトの[自動]のままとします。

  9. Hyper-Vマネジャによる第1レベルの仮想Hyper-Vホストの管理
    実ESXiホスト上にHyper-V Serverを使用した仮想Hyper-Vホストを構築した場合はサーバマネジャやHyper-Vマネジャから実Hyper-Vホスト並にリモート管理できる環境を構築する必要があります。
    そこでVMware vSphere Client側PC(今回は32ビット版Windows 8.1 Pro)にRSATを導入していなければRSATを導入してサーバマネジャやHyper-Vマネジャから第1レベルの仮想Hyper-Vホストを管理できるようにします。
    VMware vSphere Client側PCで以下の操作を実施します。

■ ご参考：実ESXi 6.0ホスト上での仮想Hyper-Vホストの構築(Hyper-V Server 2012 R2編)

1台のPC上で無償のESXiと無償のHyper-V Serverを同時に利用できる環境があるとかなり重宝します。
VMware vSphere Hypervisor(ESXi)の6.0.0 Update 2がリリースされた2016年3月15日時点での最新のHyper-V Server正式リリース版はHyper-V Server 2012 R2です。
ここではその「Hyper-V Server 2012 R2」をESXi 6.0の仮想マシンとして実行させて、かつ仮想Hyper-Vホストとしても動作させる手順をご紹介致します。
  1. 仮想マシン定義
    ・仮想マシン名：vsHVS12R2(HVSはHyper-V Serverの略)
    ・仮想マシンのバージョン：11(デフォルト)
    ・ゲストOS(Windows)のバージョン：[Microsoft Windows Server 2012 (64ビット)]
    ・ネットワーク接続の設定：説明略
    ・仮想ディスク：サイズ=2000GB、ディスクプロビジョニング=Thin Provision(容量可変タイプ)
    ・この時点での新規仮想マシンの作成ウィザードでの「終了準備の完了」(要約)の表示内容はこちらです。
    ・CD/DVDドライブ1のデータストアISOファイル：9600.16384.WINBLUE_RTM.130821-1623_X64FRE_SERVERHYPERCORE_JA-JP-IRM_SHV_X64FRE_JA-JP_DV5.ISO(約2.0GB)
    ※事前に[データストアの参照]で9600.16384.WINBLUE_RTM.130821-1623_X64FRE_SERVERHYPERCORE_JA-JP-IRM_SHV_X64FRE_JA-JP_DV5.ISOファイルをデータストアにアップロードしておきます。

  2. 仮想マシンへのMicrosoft Windows Server 2012 R2のインストール



  3. インストール完了

  4. サーバ構成(sconfig)でのコンピュータ名やネットワーク設定の変更
    ここではコンピュータ名の変更やネットワーク設定の変更を行います。




  5. ファイアウォール設定(説明略)

  6. VMware Toolsのインストール(任意)
    特別なドライバが必要な場合は[仮想マシン]-[ゲスト]-[VMware Toolsのインストール/アップグレード]でVMware Toolsを標準インストールします。
    ※VMware Toolsのインストーラの起動はD:\setup.exeで行えます。
    今回はVMware Toolsのインストールはしていません。

  7. 仮想Hyper-Vホスト化のための設定
    Hyper-V Server 2012 R2をインストールした上述の仮想マシン(vsHVS12R2)を仮想Hyper-VホストにするためにはそのvsHVS12R2.vmxファイル(データストア中に存在するファイル)の中に以下の2行を追加するだけでは不完全なようです。
    vhv.enable = "TRUE"
    featMask.vm.hv.capable = "Min:1"
    上記2行を追加してもVMware Host Client(vSphere Web Client)で[ハードウェアアシストによる仮想化をゲストOSに公開]：オフとして表示されますのでその仮想マシン上で別の仮想マシンは実行できません(仮想マシンの起動エラーが発生)。
    実はHyper-V Server 2012 R2の場合はHyper-V Server 2016 TP4の場合と違って「VMware Host Client(vSphere Web Client)での仮想化設定」という一手間が必要となります。

    そこで実験兼ねて以下の手順で仮想マシン(vsHVS12R2)を仮想Hyper-Vホスト化してみました。
  8. Hyper-Vマネジャによる仮想Hyper-Vホストの管理
    実ESXiホスト上にHyper-V Serverを使用した仮想Hyper-Vホストを構築した場合はサーバマネジャやHyper-Vマネジャから実Hyper-Vホスト並にリモート管理できる環境を構築する必要があります。
    そこでVMware vSphere Client側PC(今回は32ビット版Windows 8.1 Pro)にRSATを導入していなければRSATを導入してサーバマネジャやHyper-Vマネジャから仮想Hyper-Vホストを管理できるようにします。
    VMware vSphere Client側PCで以下の操作を実施します。

■ 仮想ESXiホストのネスト化(Nested ESXi)

上述した仮想ESXiホスト(vsESXi[第1レベルの仮想ESXiホスト])上の仮想マシン(vsesx2)にESXi 6.0をインストールしてその仮想マシン(vsesx2)を「第2レベルの仮想ESXiホスト」にしてみます。
更に第2レベルの仮想ESXiホスト上でも64ビットOSを実行できるようにします。

  1. 仮想マシン(vsesx2)の定義(vsESXiと同様につき説明略)

  2. 仮想マシン(vsesx2)へのESXi 6.0(64ビット版)のインストールとライセンス登録(vsESXiと同様につきこれも説明略)

  3. 第2レベルの仮想ESXiホスト上で64ビット仮想マシンを実行させるためのVMXファイルの手動更新
    第2レベルの仮想ESXiホスト(vsesxi2)上で64ビット仮想マシンを実行可能とするにはその第2レベルの仮想ESXi 6.0ホスト用仮想マシンのVMXファイル(データストア中に存在するファイル)の中に以下の2行を追加します。
    VMXファイルの変更はデータストア中に存在するVMXファイル(vsesxi2.vmx)をダウンロード([データストアの参照])、変更、アップロード([データストアの参照])で実施します。
    vhv.enable = "TRUE"
    featMask.vm.hv.capable = "Min:1"
    尚、第2レベルの仮想ESXiホスト(vsesxi2)のプロパティにおいて「CPU/MMU仮想化」の値はデフォルトの[自動]のままとします。

  4. 第2レベルの仮想ESXiホスト上での仮想マシンでネットワーク機能を使用可能とする設定
    [ポイント]
    (1)第1レベルの仮想ESXiホスト上の仮想マシンでネットワーク機能を使用可能とするためには実ESXi 6.0ホストの「VM Network」のセキュリティ設定で[無差別モード：拒否]を[無差別モード：承諾]に変更する必要があります。
    (2)同様に第2レベルの仮想ESXiホスト(vsesxi2)上の仮想マシンでネットワーク機能を使用可能とするためには第1レベルの仮想ESXiホスト(vsESXi)の「VM Network」のセキュリティ設定で[無差別モード：拒否]を[無差別モード：承諾]に変更する必要があります(今回実施の設定変更)。

  5. 第2レベルの仮想ESXiホスト(vsesxi2)上の64ビット版Linuxライブ実行用仮想マシン(vsLivex64L3)定義(説明略)

  6. 第2レベルの仮想ESXiホスト(vsesxi2)上の64ビット版Linuxライブ実行用仮想マシン(vsLivex64L3)の実行
    64ビット版のUbuntu 14.04をライブ実行してみました。
    ネットワークも使用できるため実ESXiホスト(esxi)と第2レベルの仮想ESXiホスト(vsesxi2)にSSH接続してみました。



    ・実寸画像はこちらです。


■ vCenter Serverの導入と仮想マシンのクローン/テンプレート作成

vCenter ServerはESX/ESXiホストを束ねたデータセンタ群を一元管理するサーバです。
ESXiホストがあるだけではそのESXiホスト上の仮想マシンの「移行」、「クローン作成」、「テンプレート作成」はできません。
しかしvCenter Serverを導入してそのESXiホストをvCenter Serverの管理対象とすることで仮想マシンの「移行」、「クローン作成」、「テンプレート作成」等もできるようになります。
vCenter Serverの導入と仮想マシンのクローン/テンプレート作成例についてはオープンギャラリー：VMware vCenter Server 6.0のインストールとデータセンタの構築をご参照下さい。


■ ご参考：SUSE Linux Enterprise Server for VMwareについて

  1. SUSE Linux Enterprise Server for VMwareの概要(ライセンス含む)
    (1)SUSE Linux Enterprise Server for VMwareはSUSE Linux Enterprise Serverを「VMware vSphere上で実行」できるように仕立てたものです。
    ※1 VMware Toolsはなくても動作しますのでSUSE Linux Enterprise Server for VMwareには内蔵されていません(VMware Toolsはインストールされていません)。
    ※2 実際には大元のSUSE Linux Enterprise ServerもVMware vSphere上で実行できます(オープンギャラリー：VMware vSphere Hypervisor (ESXi 6.0)でのSUSE Linux Enterprise Server 11実行例参照)。
    (2)SUSE Linux Enterprise Server for VMwareはVMware vSphereを実行させているユーザが使用することを意図しており、その使用権はVMware vSphere購入ユーザに与えられます。
    (3)有償のSUSE Linux Enterprise ServerのユーザであってもVMware vSphereを購入していなければSUSE Linux Enterprise Server for VMwareの使用権は得られません。
    (4)SUSE Linux Enterprise Server for VMwareはHyper-V環境でも実行できるようにhyper-vというRPMパッケージを含んでいますが、実行環境(hypervisor)を実行時にチェックしてそのhypervisorがVMwareでなければ以下の警告メッセージを表示します。
    The following requuirements are not fulfilled on this system:
     * Hypervisor used (current value: 'xxxxxxxx'): must be one of: 'vmware'
    ※ 'xxxxxxxx'部分はVMware環境以外のHypervisorの提供元名(例えば'microsoft')です。
    尚、SUSE Linux Enterprise Server 11 SP3 for VMwareにはHyper-V用のLIS(Linux Integration Services) 3.1も内蔵されています。
    (5)VMware vSphere Serverの無償版であるESXiしか持たないユーザがSUSE Linux Enterprise Server for VMwareを試しに利用できるかどうかはグレーです。

  2. SUSE Linux Enterprise Server 11 SP3 for VMware用の仮想マシン定義例
    これからVMware vSPhereを本格導入してSUSE Linux Enterprise Server for VMwareも活用したいと考えているユーザもいるかと思います。
    そこでここではSUSE Linux Enterprise Server 11 SP3 for VMware仮想マシンの構築例をご紹介します。
    尚、今回はESXi 6.0環境でSUSE Linux Enterprise Server 11 SP3 for VMwareを使ってみました。

    [SUSE Linux Enterprise Server 11 SP3 for VMwareのダウンロードサイト]
    ・SUSE Linux Enterprise Server 11 SP3 for VMwareのダウンロードサイトはノベルのhttp://download.novell.com/Download?buildid=bYhqJ0n91C8~です。
    ※今回は64ビット版のSLES-11-SP3-for-VMware-DVD-x86_64-GM-DVD1.isoを使用しています(DVD2はソースファイル用です)。

    [仮想マシン定義]
    ・仮想マシン名：vssles11
    ・仮想マシンファイルのターゲットストレージ：[datastore2]
    ・仮想マシンのバージョン：11
    ・ゲストOS：[Linux]を選択、バージョン：[SUSE Linux Enterprise 11 (64ビット)]を選択
    ・仮想ソケット数：1
    ・仮想ソケットあたりのコアの数：1
    ・メモリサイズ：2GB
    ・NIC1のネットワーク：[VM Network]、アダプタ：[VMXNET 3](デフォルトでVMware Toolsがなくても使用可能です)
    ※VMXNET 3のカーネルドライバ(vmxnet3.ko)はkernel-default-3.0.76-0.11.1パッケージに含まれています。
    ・SCSIコントローラ：[LSI Logic パラレル](デフォルト)
    ・仮想ディスクのサイズ：127GB、ディスクプロビジョニング：[Thin Provision]に変更
    ・仮想ディスクノード：[SCSI(0:0)](デフォルト)
    この時点の[終了準備の完了]での表示内容はこちらです。
    ・[設定の編集](仮想マシンのバージョンを9以降にすると設定の編集機能が一部制限されるようです)
      ・CD/DVD1のイメージファイル：SUSE Linux Enterprise Server 11 SP3 for VMware用のSLES-11-SP3-for-VMware-DVD-x86_64-GM-DVD1.isoをデータストアに事前に格納して選択
      ・USBコントローラ(xHCI)の追加

  3. ゲストOSのインストール
    (1)仮想マシンをパワーオン
    (2)メニュー画面操作；
    ・F2 - Language：[日本]を選択
    ・F3 - ビデオモード：[1152x864]の選択
    ・実行項目として[インストール]を選択
    (3)ようこそ：言語設定
    (4)メディアチェック
    (5)インストールモード：[新規にインストール]
    (6)時計とタイムゾーン
    (7)欠
    ※通常のSLESのインストーラではここで「サーバベースシナリオ」のオプション選択画面(https://www.suse.com/ja-jp/documentation/sles11/singlehtml/book_sle_deployment/book_sle_deployment.html#sec.i.yast2.server)が表示されますがSUSE Linux Enterprise Server 11 SP3 for VMware版では表示されません([物理マシン]固定ですので選択オプション不要)。
    と言うことはXen/KVM仮想マシンとしての使用は除外ということです。
    実際、SUSE Linux Enterprise Server 11 SP3 for VMware版にはXen関連パッケージは含まれていません。
    (8)インストールの設定
    「ソフトウェア」については以下のものを追加しました。
    ・ファイルサーバ
    ・WebおよびLDAPサーバ
    ・C/C++コンパイラとツール
    (9)以降省略(パッケージのインストールやrootのパスワード設定等があります)
    (10)インストール完了画面で＜完了＞クリックするとログイン画面が表示されますのでrootでログインします。
    (11)「dmesg|grep -i hyper」コマンドの実行結果：「Hypervisor detected : VMware」と表示されます
    (12)SUSE Linux Enterprise Server 11 SP3 for VMwareのデスクトップ



    ・実寸画像はこちらです。

  4. VMware Toolsのインストール
    仮想マシンにVMware Toolsをインストールすることによってグラフィックやマウスのパフォーマンスが向上します。
    またVMware Toolsのデーモンを介してVMware vSphere Clientとの通信も行われVMware vSphere Clientに仮想マシンのIPアドレスも表示されるようになります。

    SUSE Linux Enterprise Server 11 SP3 for VMware(64ビット版)用仮想マシンへのVMware Toolsのインストールは次の手順で実施します。

  5. 再起動

  6. 再起動後のデスクトップ



    ・実寸画像はこちらです。

  7. SSH接続例
    SUSE Linux Enterprise Server 11 SP3 for VMwareの仮想マシンにSSH接続して/etc/productprofiles.d/SLES-for-VMware.profileの内容を確認してみました。

  8. 補足
    SUSE Linux Enterprise Server 11 SP3 for VMwareの仮想マシンは本サイトのメインテーマである実ESXi上のネストされた仮想Hypervisorホスト上でも動作します(例：SUSE Linux Enterprise Server 11 SP3 for VMwareの高可用性がよく理解できます)。


■ ご参考：Windows 95の実行

実ESXi 6.0ホスト上でWindows 95を「仮想マシンのバージョン(ハードウェアバージョン)：4」として実行してみました(VMware vSphere Clientでのサマリ情報)。
下記は実ESXi 6.0ホスト上でのWindows 95のデスクトップですがシステムトレイには「VMware Tools」アイコンが表示されています。
またデバイスマネジャでのディスプレイアダプタは「VMware SVGA II」となっています。