python - 在 AWS 中，从 sagemaker 执行笔记本

Question

我正在使用 AWS SageMaker 笔记本。

从 sagemaker 执行笔记本的最佳方法是什么？

• 我的想法是拥有一个 S3 存储桶。
• 当一个新文件放在那里时，我想执行一个从 S3 读取并将输出放在其他存储桶中的笔记本。

从现在开始，我唯一的方法是启动一个 S3 事件，执行一个启动 sagemaker 实例的 lambda 函数并执行笔记本。但是开始的时间太多了，而且对我来说还没有大笔记本。

也许最好导出笔记本并从aws中的另一个地方执行它（为了更快），但我不知道在哪里。

提前致谢

标签： pythonamazon-web-servicesamazon-s3aws-lambdaamazon-sagemaker

Answer 1

我的经验有限，但是..如果您在谈论培训工作，启动一个的唯一另一种方法是创建自己的容器，推送到 ECR 并直接启动培训工作，而无需处理笔记本。我正在研究一个类似的项目，其中 S3 上传触发了一个启动容器的 lambda 函数（它不是 sagemaker，但概念或多或少相同）。这种方法的问题在于，AWS 需要时间来启动一个实例，我会说是几分钟。另一种方法可能是拥有一个永久运行的端点并以某种方式触发细化。