ray - 在多个 AWS 账户之间设置集群

Question

我想设置一个 Ray 集群以在 AWS 上使用 Rtune over 4 gpus。但是每个 gpu 都属于我们团队的不同成员。我已经搜索了可用资源以寻求答案，但一无所获。帮助 ？

标签： ray

Answer 1

为了使用跨多个 AWS 账户的实例启动 Ray 集群，您需要确保 AWS 实例可以通过相关端口相互通信。为此，您需要修改实例的 AWS 安全组（但请确保不要向全世界开放端口）。

--redis-port您可以通过参数、--redis-shard-ports、--object-manager-port和--node-manager-porttoray start在头节点和 just--object-manager-port和--node-manager-port非头节点上选择需要哪些端口。请参阅相关文档。

但是，您尝试做的事情听起来有些复杂。如果可能的话，使用单个帐户会容易得多，在这种情况下，您可以使用Ray autoscaler。