时间戳

首页 > 解决方案 > Python 强化学习 - 元组观察空间

python - Python 强化学习 - 元组观察空间

问题描述

我创建了一个自定义的 openai 健身房环境，其中包含一个离散的动作空间和一个有点复杂的状态空间。状态空间被定义为元组，因为它结合了一些连续的维度和其他离散的维度：

import gym
from gym import spaces

class CustomEnv(gym.Env):
    def __init__(self):
        self.action_space = spaces.Discrete(3)
        self.observation_space = spaces.Tuple((spaces.Discrete(16),
                                               spaces.Discrete(2),
                                               spaces.Box(0,20000,shape=(1,)),
                                               spaces.Box(0,1000,shape=(1,)))
    ...

我有一些使用 keras-rl 训练代理的运气，特别是 DQNAgent，但是 keras-rl 的支持不足并且文档记录非常差。对于可以处理这种类型的观察空间的 RL 包有什么建议吗？目前看来 openai 基线和 stable-baselines 都无法处理它。

或者，是否有一种不同的方式可以定义我的状态空间，以便将我的环境适合这些定义更好的包之一？

标签： pythonmachine-learningreinforcement-learningopenai-gymkeras-rl

解决方案

您可能想尝试rllib中的强化学习包ray，它在伯克利的 UC 中进行了扩展。

https://rise.cs.berkeley.edu/projects/ray/

它包括许多已实现的算法：

在此处输入图像描述 它非常易于使用。您只需要添加您的环境，该环境已在以下位置进行了全面说明： https ://ray.readthedocs.io/en/latest/rllib-env.html

推荐阅读