はじめに †
OpenAI Gym は、安全な人工汎用知能 (AGI) の研究を支援している非営利団体 OpenAI が提供している強化学習ツールキットです。
OpenAI Gymのページには、Windowsへのインストール方法は載っていません。 また、Windowsへのインストール方法を解説しているページでは、Windows 10のWindows Subsystem for Linux (WSL)上にインストールする方法が多いです。
ここでは、WSLを使わずに、Anacondaを使ってWindows上にOpenAI Gymをインストールする方法を説明します。
Anacondaは機械学習のためのツールをまとめてインストールしてくれますが、Anacondaのパッケージ管理ツールのcondaのWindows版がまだGymをサポートしていません。
そこで、Anaconda上でPython標準のパッケージ管理ツールであるpipを使って、Gymをインストールします。
ただし、condaとpipは「混ぜるな危険!」ということらしいので、Anaconda上にGym用の環境を作成し、pipだけを使ってインストールします。
AnacondaのインストールとJupyter Notebookの使い方については、こちらで確認してください。
- Pythonでデータ分析するはじめの一歩(Windows編) - とうごろうぃき
この記事の内容は、以下の環境で確認しました。
- Windows 10 Home
- Anaconda 5.3 Python 3.7 version
Gymのインストール †
まず、Anaconda NavigatorのHome画面で「Environments」をクリックして、環境の一覧を開きます。
![Anaconda_environments.png Anaconda_environments.png](https://xn--p8ja5bwe1i.jp:443/wiki/?plugin=ref&page=%E5%BC%B7%E5%8C%96%E5%AD%A6%E7%BF%92%2FWindows%E3%81%A7OpenAI%20Gym%E3%82%92%E4%BD%BF%E3%81%86&src=Anaconda_environments.png)
「Create」をクリックして、新しい環境を作ります。
![Anaconda_create.png Anaconda_create.png](https://xn--p8ja5bwe1i.jp:443/wiki/?plugin=ref&page=%E5%BC%B7%E5%8C%96%E5%AD%A6%E7%BF%92%2FWindows%E3%81%A7OpenAI%20Gym%E3%82%92%E4%BD%BF%E3%81%86&src=Anaconda_create.png)
ここでは、新しい環境の名前を「gym」として、「Create」をクリックします。
![Anaconda_new_environment.png Anaconda_new_environment.png](https://xn--p8ja5bwe1i.jp:443/wiki/?plugin=ref&page=%E5%BC%B7%E5%8C%96%E5%AD%A6%E7%BF%92%2FWindows%E3%81%A7OpenAI%20Gym%E3%82%92%E4%BD%BF%E3%81%86&src=Anaconda_new_environment.png)
新しい環境ができたら、「Open Terminal」でターミナルを開きます。
![Anaconda_open_terminal.png Anaconda_open_terminal.png](https://xn--p8ja5bwe1i.jp:443/wiki/?plugin=ref&page=%E5%BC%B7%E5%8C%96%E5%AD%A6%E7%BF%92%2FWindows%E3%81%A7OpenAI%20Gym%E3%82%92%E4%BD%BF%E3%81%86&src=Anaconda_open_terminal.png)
ターミナルが開いたら、pipでGymをインストールします。 (Python 3とPython 2の両方がインストールされている場合は、pipの替わりにpip3を使用します。)
> pip install gym
Jupyter Notebookのインストール †
Anaconda NavigatorのHomeに戻り、リストから新しく追加した環境「gym」を選択して、「Install」をクリックします。
![Anaconda_jupyter_install.png Anaconda_jupyter_install.png](https://xn--p8ja5bwe1i.jp:443/wiki/?plugin=ref&page=%E5%BC%B7%E5%8C%96%E5%AD%A6%E7%BF%92%2FWindows%E3%81%A7OpenAI%20Gym%E3%82%92%E4%BD%BF%E3%81%86&src=Anaconda_jupyter_install.png)
Gymの動作確認 †
Anaconda NavigatorのHomeから、「gym」を選択して、「Launch」をクリックします。
![Anaconda_jupyter_launch.png Anaconda_jupyter_launch.png](https://xn--p8ja5bwe1i.jp:443/wiki/?plugin=ref&page=%E5%BC%B7%E5%8C%96%E5%AD%A6%E7%BF%92%2FWindows%E3%81%A7OpenAI%20Gym%E3%82%92%E4%BD%BF%E3%81%86&src=Anaconda_jupyter_launch.png)
Jupyter Notebookが起動し、ブラウザが開きます。
新しいNotebookを開いて、次のサンプルプログラムを打ち込み、実行します。
import gym env = gym.make('CartPole-v0') for i_episode in range(20): observation = env.reset() # 状態 for t in range(100): env.render() print(observation) action = env.action_space.sample() # 行動(一様選択) 0: 左、1: 右 observation, reward, done, info = env.step(action) # 行動を実行し、次の状態、報酬、終端状態かどうか、デバッグ用情報を受け取る if done: print("Episode finished after {} timesteps".format(t+1)) break
次のような画面が出てきて、ランダムな動きをしたらOKです。
![Gym_cart_pole.png Gym_cart_pole.png](https://xn--p8ja5bwe1i.jp:443/wiki/?plugin=ref&page=%E5%BC%B7%E5%8C%96%E5%AD%A6%E7%BF%92%2FWindows%E3%81%A7OpenAI%20Gym%E3%82%92%E4%BD%BF%E3%81%86&src=Gym_cart_pole.png)