时间戳

首页 > 解决方案 > 如何使用承担角色将 S3 对象从另一个 AWS 账户放入您自己的账户 S3 存储桶？

amazon-web-services - 如何使用承担角色将 S3 对象从另一个 AWS 账户放入您自己的账户 S3 存储桶？

问题描述

我有一个非常典型的用例，我在 AWS 账户（1234567890 - 不受我控制）中授予我一个角色，以从他们的 S3 存储桶（'remote_bucket'）中读取数据。我可以很好地从远程存储桶读取数据，但我不再可以将其转储到我自己的存储桶中，因为在另一个 AWS 账户中担任角色“隐藏”了对我自己账户上资源的授权。最后一行因错误而失败。如何解决这个问题？

import boto3

# Create IAM client and local session
sts = boto3.client('sts')
local_sess = boto3.Session()
s3_local = local_sess.resource('s3')

role_to_assume_arn='arn:aws:iam::1234567890:role/s3_role'
role_session_name='test'

# Assume role in another account to access their S3 bucket
response = sts.assume_role(
    RoleArn = role_to_assume_arn,
    RoleSessionName = 'test',
    ExternalId = 'ABCDEFG12345'
)

creds=response['Credentials']

# open session in another account:
assumed_sess = boto3.Session(
    aws_access_key_id=creds['AccessKeyId'],
    aws_secret_access_key=creds['SecretAccessKey'],
    aws_session_token=creds['SessionToken'],
)

remote_bucket = 'remote_bucket'
s3_assumed = assumed_sess.resource('s3')
bk_assumed = s3_assumed.Bucket(remote_bucket)

for o in bk_assumed.objects.filter(Prefix="prefix/"):
    print(o.key)
    in_object = s3_assumed.Object(remote_bucket, o.key)
    content = in_object.get()['Body'].read()
    s3_local.Object('my_account_bucket', o.key).put(Body=content)

错误：

botocore.exceptions.ClientError: An error occurred (AccessDenied) when calling the PutObject operation: Access Denied

标签： amazon-web-servicesfileamazon-s3copybucket

解决方案

（TL;DR看到最后一个配置权限的方法比使用角色更容易！）

在存储桶之间移动数据的最简单方法是使用copy_object()命令。该命令被发送到目标存储桶并从源存储桶中“拉取”信息。

当涉及多个 AWS 账户时，这会稍微复杂一些，因为同一组凭证需要GetObject源存储桶的权限和 PutObject目标存储桶的权限。

您的情况似乎是：

  • GetObject已通过您可以承担的角色授予源存储桶的权限
  • 但是，该角色没有PutObject目标存储桶的权限

重要的是，角色还被分配了写入目标存储桶的权限。

为了测试这种情况，我做了以下事情：

  • Bucket-A在Account-A（源存储桶）中创建并上传了一些测试文件
  • 创建Bucket-B于Account-B（目标存储桶）
  • 创建Role-A于Account-A，指定它可以由Account-B
  • 将此 IAM 政策分配给Role-A：
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:List*",
                "s3:Get*"
            ],
            "Resource": [
                "arn:aws:s3:::bucket-a",
                "arn:aws:s3:::bucket-a/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:Put*"
            ],
            "Resource": [
                "arn:aws:s3:::bucket-b/*"
            ]
        }
    ]
}

请注意，该角色还被授予写入权限Bucket-B。这可能不会出现在您的特定情况下，但有必要否则Account-A将不允许角色调用Bucket-B！

澄清一下：使用跨账户权限时，两个账户都需要授予权限。在这种情况下，Account-A授予Role-A写入权限Bucket-B，但Account-B也必须允许写入（请参阅下面的存储桶策略）。

  • 创建User-B于并Account-B授予调用AssumeRole权限：Role-AAccount-A
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AssumeRoleA",
            "Effect": "Allow",
            "Action": "sts:AssumeRole",
            "Resource": "arn:aws:iam::111111111111:role/role-a"
        }
    ]
}
  • 创建了允许将文件放入存储桶的存储桶策略。这很重要，因为对 中的资源没有任何访问权限，但是此存储桶策略将允许使用该存储桶。Bucket-BRole-AAccount-AAccount-BRole-A
  {
  "Version": "2012-10-17",
  "Statement": [
    {
      "Action": [
        "s3:PutObject",
        "s3:PutObjectAcl"
      ],
      "Effect": "Allow",
      "Resource": "arn:aws:s3:::bucket-b/*",
      "Principal": {
        "AWS": [
          "arn:aws:iam::111111111111:role/role-a"
        ]
      }
    }
  ]
}
  • 更新了我的凭据文件以使用Role-A：
[role-a]
role_arn = arn:aws:iam::906972072995:role/role-a
source_profile = user-b
  • 确认我可以访问Bucket-A：
aws s3 ls s3://bucket-a --profile role-a
  • 确认我可以将对象从复制Bucket-A到Bucket-B：
aws s3 cp s3://bucket-a/foo.txt s3://stack-bucket-b/ --profile role-a

这成功了。

概括

上述过程可能看起来相当复杂，但可以很容易地在源和目标之间进行划分：

  • 来源：前提Role-A是可以读取Bucket-A，也具有写入权限Bucket-B
  • 目的地：Bucket-B允许Role-A写入的桶策略

如果Account-A不愿意提供既可以读取Bucket-A又可以写入的角色权限Bucket-B，那么还有另一种选择：

  • 要求Account-A将存储桶策略添加到Bucket-A允许User-BGetObject
  • User-B然后可以使用普通（User-B）权限来读取内容，Bucket-A 而不需要 AssumeRole
  • 显然，这比担任角色要容易得多

推荐阅读