WindowsでOpenAI Gymを使う

2018-11-26 (月) 14:29:40 (14d) | Topic path: Top / 強化学習 / WindowsでOpenAI Gymを使う

はじめに

OpenAI Gym は、安全な人工汎用知能 (AGI) の研究を支援している非営利団体 OpenAI が提供している強化学習ツールキットです。

OpenAI Gymのページには、Windowsへのインストール方法は載っていません。 また、Windowsへのインストール方法を解説しているページでは、Windows 10のWindows Subsystem for Linux (WSL)上にインストールする方法が多いです。

ここでは、WSLを使わずに、Anacondaを使ってWindows上にOpenAI Gymをインストールする方法を説明します。

Anacondaは機械学習のためのツールをまとめてインストールしてくれますが、Anacondaのパッケージ管理ツールのcondaのWindows版がまだGymをサポートしていません。

そこで、Anaconda上でPython標準のパッケージ管理ツールであるpipを使って、Gymをインストールします。

ただし、condaとpipは「混ぜるな危険!」ということらしいので、Anaconda上にGym用の環境を作成し、pipだけを使ってインストールします。

AnacondaのインストールとJupyter Notebookの使い方については、こちらで確認してください。

この記事の内容は、以下の環境で確認しました。

  • Windows 10 Home
  • Anaconda 5.3 Python 3.7 version

Gymのインストール

まず、Anaconda NavigatorのHome画面で「Environments」をクリックして、環境の一覧を開きます。

Anaconda_environments.png

「Create」をクリックして、新しい環境を作ります。

Anaconda_create.png

ここでは、新しい環境の名前を「gym」として、「Create」をクリックします。

Anaconda_new_environment.png

新しい環境ができたら、「Open Terminal」でターミナルを開きます。

Anaconda_open_terminal.png

ターミナルが開いたら、pipでGymをインストールします。 (Python 3とPython 2の両方がインストールされている場合は、pipの替わりにpip3を使用します。)

> pip install gym

Jupyter Notebookのインストール

Anaconda NavigatorのHomeに戻り、リストから新しく追加した環境「gym」を選択して、「Install」をクリックします。

Anaconda_jupyter_install.png

Gymの動作確認

Anaconda NavigatorのHomeから、「gym」を選択して、「Launch」をクリックします。

Anaconda_jupyter_launch.png

Jupyter Notebookが起動し、ブラウザが開きます。

新しいNotebookを開いて、次のサンプルプログラムを打ち込み、実行します。

import gym
env = gym.make('CartPole-v0')

for i_episode in range(20):
    observation = env.reset()  # 状態
    for t in range(100):
        env.render()
        print(observation)
        action = env.action_space.sample()  # 行動(一様選択) 0: 左、1: 右
        observation, reward, done, info = env.step(action)  # 行動を実行し、次の状態、報酬、終端状態かどうか、デバッグ用情報を受け取る
        if done:
            print("Episode finished after {} timesteps".format(t+1))
            break

次のような画面が出てきて、ランダムな動きをしたらOKです。

Gym_cart_pole.png
トップ   編集 凍結解除 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS