python - ECS上为数据处理项目搭建docker容器的最佳实践

Question

我目前正在创建数据处理管道的上下文中使用 AWS Elastic Container Service 进行一些实验，我对如何最好地设置 docker 容器/ecs 任务定义的细节有一些疑问。

该项目的总体目标是创建一个系统，允许用户将数据文件添加到 S3 存储桶以使用 S3 事件和 Lambda 触发 ECS 任务，然后将输出返回到另一个 S3 存储桶。

到目前为止，我已经能够弄清楚 S3 触发器和 Lambda 的基础知识，但是对于如何正确设置 docker 容器和任务定义以便它使用一组 python 自动处理数据，我有点困惑脚本。我相信创建一个运行 shell 脚本的 docker 容器是有意义的，该脚本复制必要的文件并调用 python 代码，但我对如何使用来自 ECS 任务的绑定挂载卷运行 docker 容器以及是否这个过程没有意义。目前，当我在单个 EC2 上测试系统时，我正在使用以下命令运行我的 docker 容器：

docker run -b $ (pwd)/data:/home/ec2-user/docker_test/data docker_test

我对 AWS 工具还比较陌生，所以如果我能澄清我的任何观点/问题，请告诉我，并提前感谢您！

标签： pythonshelldockeramazon-ecs