web-dev-qa-db-fra.com

Comment créer un nouvel environnement de gym dans OpenAI?

J'ai pour mission de créer un agent d'intelligence artificielle qui apprendra à jouer à un jeu vidéo en utilisant ML. Je souhaite créer un nouvel environnement à l'aide d'OpenAI Gym car je ne souhaite pas utiliser un environnement existant. Comment créer un nouvel environnement personnalisé?

Aussi, y a-t-il un autre moyen que je puisse commencer à développer pour permettre à AI Agent de jouer à un jeu vidéo spécifique sans l'aide d'OpenAI Gym?

machine-learningartificial-intelligenceopenai-gym
57
Rifat Bin Reza

Voir mon banana-gym pour un environnement extrêmement petit.

Créer de nouveaux environnements

Voir la page principale du référentiel:

https://github.com/openai/gym/blob/master/docs/creating-environments.md

Les étapes sont les suivantes:

  1. Créer un nouveau référentiel avec une structure de package PIP

Ça devrait ressembler à ça

_gym-foo/
  README.md
  setup.py
  gym_foo/
    __init__.py
    envs/
      __init__.py
      foo_env.py
      foo_extrahard_env.py
_

Pour le contenu, suivez le lien ci-dessus. Des détails qui ne sont pas mentionnés ici expliquent notamment comment certaines fonctions de _foo_env.py_ devraient ressembler. Regarder des exemples et à gym.openai.com/docs/ aide. Voici un exemple:

_class FooEnv(gym.Env):
    metadata = {'render.modes': ['human']}

    def __init__(self):
        pass

    def _step(self, action):
        """

        Parameters
        ----------
        action :

        Returns
        -------
        ob, reward, episode_over, info : Tuple
            ob (object) :
                an environment-specific object representing your observation of
                the environment.
            reward (float) :
                amount of reward achieved by the previous action. The scale
                varies between environments, but the goal is always to increase
                your total reward.
            episode_over (bool) :
                whether it's time to reset the environment again. Most (but not
                all) tasks are divided up into well-defined episodes, and done
                being True indicates the episode has terminated. (For example,
                perhaps the pole tipped too far, or you lost your last life.)
            info (dict) :
                 diagnostic information useful for debugging. It can sometimes
                 be useful for learning (for example, it might contain the raw
                 probabilities behind the environment's last state change).
                 However, official evaluations of your agent are not allowed to
                 use this for learning.
        """
        self._take_action(action)
        self.status = self.env.step()
        reward = self._get_reward()
        ob = self.env.getState()
        episode_over = self.status != hfo_py.IN_GAME
        return ob, reward, episode_over, {}

    def _reset(self):
        pass

    def _render(self, mode='human', close=False):
        pass

    def _take_action(self, action):
        pass

    def _get_reward(self):
        """ Reward is given for XY. """
        if self.status == FOOBAR:
            return 1
        Elif self.status == ABC:
            return self.somestate ** 2
        else:
            return 0
_

Utilisez votre environnement

_import gym
import gym_foo
env = gym.make('MyEnv-v0')
_

Exemples

  1. https://github.com/openai/gym-soccer
  2. https://github.com/openai/gym-wikinav
  3. https://github.com/alibaba/gym-starcraft
  4. https://github.com/endgameinc/gym-malware
  5. https://github.com/hackthemarket/gym-trading
  6. https://github.com/tambetm/gym-minecraft
  7. https://github.com/ppaquette/gym-Doom
  8. https://github.com/ppaquette/gym-super-mario
  9. https://github.com/tuzzer/gym-maze
77
Martin Thoma

C'est tout à fait possible. Ils le disent dans la page de documentation, vers la fin.

https://gym.openai.com/docs

Pour ce faire, vous devriez vous inspirer du code source des environnements existants. Son disponible dans github:

https://github.com/openai/gym#installation

La plupart de leurs environnements n’ont pas été implémentés à partir de rien, mais ont plutôt créé une enveloppe autour des environnements existants et lui ont donné une interface pratique pour l’apprentissage par renforcement.

Si vous voulez créer le vôtre, vous devriez probablement aller dans cette direction et essayer d'adapter quelque chose qui existe déjà à l'interface de la salle de sport. Bien qu'il y ait de bonnes chances que cela prenne beaucoup de temps.

Il existe une autre option qui peut être intéressante pour vous. C'est l'univers OpenAI

https://universe.openai.com/

Il peut s’intégrer à des sites Web afin de former vos modèles aux jeux de kongregate, par exemple. Mais Univers n'est pas aussi facile à utiliser que Gym.

Si vous êtes débutant, je vous recommande de commencer par une implémentation Vanilla sur un environnement standard. Une fois que vous avez passé les problèmes avec les bases, passez à incrémenter ...

14
Guilherme de Lazari