时间戳

首页 > 解决方案 > AzureML RL 是否支持 PyTorch？

azure-machine-learning-service - AzureML RL 是否支持 PyTorch？

问题描述

AzureML RL 是否支持 PyTorch？

由于 RLlib 本身支持 PyTorch 作为框架，我尝试使用 PyTorch 运行 AzureML RL，但失败了。

我参考了此页面以了解如何指定框架。

我在 AzureML RL 实验的配置中添加了“framework”：“torch”，但它失败了。

这是训练脚本的片段。

tune.run(
    run_or_experiment="PPO",
    config={
        "env":"CartPole-v0",
        "env_config":env_config,
        "num_gpus":0,
        "num_workers":1,
        "callbacks":callbacks,
        "framework": "torch",
    },
    stop=stop,
    checkpoint_freq=2,
    checkpoint_at_end=True,
    local_dir='./logs',

标签： azure-machine-learning-service

解决方案

Ray 对 PyTorch 的支持是存在的，但没有它对 Tensorflow 的支持那么广泛。

PyTorch 是否适用于您的问题取决于您使用的 Ray/RLLib 版本、您正在运行的算法，有时甚至是环境的性质（特别是动作和观察空间）。

我建议首先确保您使用的是最新版本的 Ray。您可以通过在您的配置中指定一个 Pip 包来选择一个版本ReinforcementLearningEstimator（这将在您的笔记本代码中，而不是在训练脚本中）。您可以添加如下所示的代码：

pip_packages=["ray[rllib]==0.8.7"]

然后在您的ReinforcementLearningEstimator设置中确保您设置pip_packages：

rl_estimator = ReinforcementLearningEstimator(    
    ...
    # Pip packages
    pip_packages=pip_packages,  
    ...

推荐阅读