はじめに †
OpenAI Gym は、安全な人工汎用知能 (AGI) の研究を支援している非営利団体 OpenAI が提供している強化学習ツールキットです。
OpenAI Gymのページには、Windowsへのインストール方法は載っていません。 また、Windowsへのインストール方法を解説しているページでは、Windows 10のWindows Subsystem for Linux (WSL)上にインストールする方法が多いです。
ここでは、WSLを使わずに、Anacondaを使ってWindows上にOpenAI Gymをインストールする方法を説明します。
Anacondaは機械学習のためのツールをまとめてインストールしてくれますが、Anacondaのパッケージ管理ツールのcondaのWindows版がまだGymをサポートしていません。
そこで、Anaconda上でPython標準のパッケージ管理ツールであるpipを使って、Gymをインストールします。
ただし、condaとpipは「混ぜるな危険!」ということらしいので、Anaconda上にGym用の環境を作成し、pipだけを使ってインストールします。
AnacondaのインストールとJupyter Notebookの使い方については、こちらで確認してください。
- Pythonでデータ分析するはじめの一歩(Windows編) - とうごろうぃき
この記事の内容は、以下の環境で確認しました。
- Windows 10 Home
- Anaconda 5.3 Python 3.7 version
Gymのインストール †
まず、Anaconda NavigatorのHome画面で「Environments」をクリックして、環境の一覧を開きます。
「Create」をクリックして、新しい環境を作ります。
ここでは、新しい環境の名前を「gym」として、「Create」をクリックします。
新しい環境ができたら、「Open Terminal」でターミナルを開きます。
ターミナルが開いたら、pipでGymをインストールします。 (Python 3とPython 2の両方がインストールされている場合は、pipの替わりにpip3を使用します。)
> pip install gym
Jupyter Notebookのインストール †
Anaconda NavigatorのHomeに戻り、リストから新しく追加した環境「gym」を選択して、「Install」をクリックします。
Gymの動作確認 †
Anaconda NavigatorのHomeから、「gym」を選択して、「Launch」をクリックします。
Jupyter Notebookが起動し、ブラウザが開きます。
新しいNotebookを開いて、次のサンプルプログラムを打ち込み、実行します。
import gym env = gym.make('CartPole-v0') for i_episode in range(20): observation = env.reset() # 状態 for t in range(100): env.render() print(observation) action = env.action_space.sample() # 行動(一様選択) 0: 左、1: 右 observation, reward, done, info = env.step(action) # 行動を実行し、次の状態、報酬、終端状態かどうか、デバッグ用情報を受け取る if done: print("Episode finished after {} timesteps".format(t+1)) break
次のような画面が出てきて、ランダムな動きをしたらOKです。