python - 在 SageMaker Python SDK 中检索模型工作者索引

Question

根据 SM python SDK文档，将为每个 vCPU 分配一名模型工作者。有没有办法为每个工人获取索引号？这样就可以将工作人员分配给 GPU。示例：4 GPU 机器上的 32 个工作人员将产生每个 GPU 8 个专用工作人员。

标签： pythonamazon-sagemaker

Answer 1

工作人员的数量通常是我们在推理工具包中传递给多模型服务器的环境变量：https ://github.com/aws/sagemaker-inference-toolkit/blob/master/src/sagemaker_inference/model_server.py #L151

它没有公开一个接口来获取每个工人的索引号，但是当您使用 SageMaker 进行推理时，每个工人在打印日志中应该有不同的颜色，因此您可以区分它们。