amazon-web-services - AWS Data Pipeline 中 EC2 资源的 AWS IAM 设置
问题描述
我在通过 Shell 命令活动让 AWS Data Pipeline 在 EC2 实例上运行时遇到问题。
我一直在逐步遵循此处找到的指南:https ://medium.com/@SarwatFatimaM/data-scientists-guide-setting-up-aws-datapipeline-for-running-python-etl-scripts-using-c6c8fa4de70d
我遇到的主要问题是管道将挂在WAITING_FOR_RUNNER
状态上。我已经确认我的 python 脚本和 .bat(必须从 .sh 更改,因为我使用的是 Windows ec2)在所需的 Ec2 实例内运行。但是,据我所知,这个问题是我从 Datapipline Architect 内部收到的警告的结果:
Errors/Warnings
Object:DefaultResource1
WARNING: Could not validate S3 Access for role. Please ensure role ('DataPipelineDefaultRole') has s3:Get*, s3:List*, s3:Put* and sts:AssumeRole permissions for DataPipeline.
我尝试编辑 IAM 角色,使 DataPipelineDefaultRole 和 DataPipelineDefaultResourceRole 都可以访问 AmazonEc2FullAccess、AmazonS3FullAccess、AWSDataPipelineRole、AWSDataPipeline_FullAccess 策略,并尝试此处显示的建议内联策略: AWS Data Pipeline: Issue with permissions S3 Access for IAM role and here https ://forums.aws.amazon.com/thread.jspa?threadID=241048。
我已经让这些政策搁置了几个小时,并且我已经重建了几次管道,但我仍然不断收到那个具体的警告。你有什么想法?
解决方案
根据下面找到的 AWS 上的 AWS Data Pipeline 文档,自定义 AMI 必须安装 Linux。因此,这目前无法在 Windows EC2 上完成,必须在 Linux EC2 上完成。
https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-custom-ami.html
推荐阅读
- python-3.x - 如何乘以数据框的特定列
- c# - 在 C# 中设置和更改 SQLite 数据库密码
- airflow - Airflow 从 db 获取数据并打印出来
- android-ndk - 无需加载库即可调用 Java 本机函数
- jquery - 使用 jQuery AJAX 使用新参数刷新页面
- powershell - 如何从给定的powershell数组中获取第一列?
- angular - NgRx:CustomRouterStateSerializer serialize() 被多次调用
- javascript - 如果选择了某些商店,则使日期在当天不可用
- r - 如何计算在特定时间段内的时间间隔的小时数?
- python - Python:如何使用 Splinter 更快地填充文本框?