时间戳

首页 > 解决方案 > 使用 NiFi 写入启用 MFA 的 AWS S3 存储桶

amazon-web-services - 使用 NiFi 写入启用 MFA 的 AWS S3 存储桶

问题描述

是否可以在 MFA 处于活动状态时使用 NiFi 处理器 PutS3Object 将数据写入 S3 存储桶？

如果没有，考虑从 hive/HDFS 将数据写入 S3 的替代方案是什么？

标签： amazon-web-serviceshadoopamazon-s3apache-nifihortonworks-data-platform

解决方案

从 1.8.0 版开始，我认为 Apache NiFi*S3Object处理器（或AWSCredentialsProviderControllerService. 我建议在Jira 站点上打开功能请求票。您可以使用以下选项之一立即完成此操作：

  • 使用ExecuteStreamCommand或使用AWS S3 CLIExecuteProcess调用终端命令或 shell 脚本
  • 用于ExecuteScript运行直接使用 AWS S3 开发工具包的自定义 Python (/Ruby/Groovy/etc.) 脚本（示例代码）
  • 编写一个直接使用AWS S3 SDK的自定义处理器

推荐阅读