カスタムGym環境作成(8) - マップ更新（川と橋を追加）

前回記事にて、２つ目のマップを攻略することができました。

今回は３つ目のマップとして川と橋を追加してみたいと思います。

マップに川と橋を追加

作成するマップイメージは次の通りです。

[川と橋を追加したマップイメージ]

ゴールにたどり着くには、橋を渡っていくコースと山沿いの道をこえるコースを２つがあり、橋を渡るコースのほうが近道になっています。

川への移動に関しては、不可にしようと思ったんのですが、そうすると山超えのコースとの差別化ができないので、川に落ちたイメージで報酬を-5ポイントに設定してみました。

カスタムGym環境の変更点とソースは以下の通りです。

[変更点]

• 14,15行目
  橋と川の定義を追加。
• 92-94行目
  川に入った時の判定を追加し、報酬として-5ポイントを返す。

[ソース]

env6.py

import sys

import gym
import numpy as np
import gym.spaces

class MyEnv(gym.Env):
    FIELD_TYPES = [
        'Ｓ',  # 0: スタート
        'Ｇ',  # 1: ゴール
        '　',  # 2: 平地
        '山',  # 3: 山(歩けない)
        '☆',  # 4: プレイヤー
        '三',  # 5: 橋
        '川',  # 6: 川
    ]
    MAP = np.array([
        [0, 3, 3, 3, 2, 2, 2, 3],
        [2, 2, 6, 6, 2, 3, 2, 1],
        [3, 2, 5, 5, 2, 3, 2, 3],
        [3, 2, 6, 6, 3, 2, 2, 2],
        [2, 2, 3, 2, 2, 3, 3, 2],
        [3, 2, 3, 2, 3, 2, 3, 2],
        [3, 2, 2, 2, 2, 2, 2, 2],
        [2, 2, 3, 2, 3, 3, 2, 3]
    ])
    MAX_STEPS = 200

    def __init__(self):
        super().__init__()
        # action_space, observation_space, reward_range を設定する
        self.action_space = gym.spaces.Discrete(4)  # 上下左右
        self.observation_space = gym.spaces.Box(
            low=0,
            high=len(self.FIELD_TYPES),
            shape=self.MAP.shape
        )
        self.reset()

    def reset(self):
        # 諸々の変数を初期化する
        self.pos = self._find_pos('Ｓ')[0]
        self.goal = self._find_pos('Ｇ')[0]
        self.river = self._find_pos('川')
        self.done = False
        self.steps = 0
        return self._observe()

    def step(self, action):
        # 1ステップ進める処理を記述。戻り値は observation, reward, done(ゲーム終了したか), info(追加の情報の辞書)
        # 左上の座標を(0, 0)とする
        if action == 0:     # 右移動
            next_pos = self.pos + [0, 1]
        elif action == 1:   # 左移動
            next_pos = self.pos + [0, -1]
        elif action == 2:   # 下移動
            next_pos = self.pos + [1, 0]
        elif action == 3:   # 上移動
            next_pos = self.pos + [-1, 0]

        if self._is_movable(next_pos):
            self.pos = next_pos
            moved = True
        else:
            moved = False

        observation = self._observe()
        reward = self._get_reward(self.pos, moved)
        self.done = self._is_done()
        return observation, reward, self.done, {}

    def render(self, mode='console', close=False):
        for row in self._observe():
            for elem in row:
                print(self.FIELD_TYPES[elem], end='')
            print()

    def _close(self):
        pass

    def _seed(self, seed=None):
        pass

    def _get_reward(self, pos, moved):
        # 報酬を返す。
        # - ゴールにたどり着くと 100 ポイント
        # - 川に入ったら -5 ポイント
        # - 1ステップごとに-1ポイント(できるだけ短いステップでゴールにたどり着きたい)
        if moved:
            if (self.goal == pos).all():
                return 100
            for x in self.river:
                if (x == pos).all():
                    return -5
        return -1

    def _is_movable(self, pos):
        # マップの中にいるか、歩けない場所にいないか
        return (
            0 <= pos[0] < self.MAP.shape[0]
            and 0 <= pos[1] < self.MAP.shape[1]
            and self.FIELD_TYPES[self.MAP[tuple(pos)]] != '山'
        )

    def _observe(self):
        # マップにプレイヤーの位置を重ねて返す
        observation = self.MAP.copy()
        observation[tuple(self.pos)] = self.FIELD_TYPES.index('☆')
        return observation

    def _is_done(self):
        # 最大で self.MAX_STEPS まで
        if (self.pos == self.goal).all():
            return True
        elif self.steps > self.MAX_STEPS:
            return True
        else:
            return False

    def _find_pos(self, field_type):
        return np.array(list(zip(*np.where(self.MAP == self.FIELD_TYPES.index(field_type)))))

次回はこのカスタムGym環境に対して、ランダム実行を行ってみます。