时间戳

首页 > 解决方案 > Go AWS S3 SDK：获取具有特定键/值标签的存储桶的最佳方法

go - Go AWS S3 SDK：获取具有特定键/值标签的存储桶的最佳方法

问题描述

我有一个函数可以提取所有标记有特定键和值的 AWS S3 存储桶。这种方法不是最优的。它遍历所有存储桶并为每个存储桶调用 s3svc.GetBucketTagging。所以时间复杂度是N+1。你们知道更好的方法吗？

func (p *awsS3Provisioner) GetBucketsTaggedWith(tag *s3.Tag) ([]*s3.Bucket, error) {

    result, err := p.s3svc.ListBuckets(&s3.ListBucketsInput{})
    if err != nil {
        return nil, err
    }

    matchedBuckets := []*s3.Bucket{}
    if result != nil && result.Buckets != nil && len(result.Buckets) > 1 {
        for _, bucket := range result.Buckets {
            bucketInput := &s3.GetBucketTaggingInput{Bucket: bucket.Name}
            bucketOutput, err := p.s3svc.GetBucketTagging(bucketInput)
            if err != nil {
                continue
            }
            if bucketOutput != nil && bucketOutput.TagSet != nil && len(bucketOutput.TagSet) > 0 {
                for _, bucketTag := range bucketOutput.TagSet {
                    if *bucketTag.Key == *tag.Key && *bucketTag.Value == *tag.Value {
                        matchedBuckets = append(matchedBuckets, bucket)
                    }
                }
            }
        }
    }
    return matchedBuckets, nil
}

谢谢尔康

标签： goamazon-s3

解决方案

您需要使用“资源组标记 API”来实现此目的。

我在示例中使用了适用于 Go v2 的 AWS 开发工具包。不幸的是，由于目前分页器中的错误，我需要提供两个版本。

我的示例返回所有具有标签的 S3 存储桶Owner=Luke Skywalker。

由于该错误，我们需要取消分页。如果修复了错误，我在代码中不需要的部分添加了注释。

package main

import (
    "context"
    "fmt"
    "github.com/aws/aws-sdk-go-v2/aws"
    "github.com/aws/aws-sdk-go-v2/config"
    "github.com/aws/aws-sdk-go-v2/service/resourcegroupstaggingapi"
    "github.com/aws/aws-sdk-go-v2/service/resourcegroupstaggingapi/types"
    "os"
)

func main() {
    cfg, err := config.LoadDefaultConfig(context.TODO())
    if err != nil {
        fmt.Printf("unable to create config: %v\n", err)
        os.Exit(1)
    }

    client := resourcegroupstaggingapi.NewFromConfig(cfg)

    params := resourcegroupstaggingapi.GetResourcesInput{
        ResourceTypeFilters: []string{"s3"},
        TagFilters: []types.TagFilter{
            {
                Key:    aws.String("Owner"),
                Values: []string{"Luke Skywalker"},
            },
        },
    }

    paginator := resourcegroupstaggingapi.NewGetResourcesPaginator(client, &params)

    for paginator.HasMorePages() {
        page, err := paginator.NextPage(context.TODO())
        if err != nil {
            fmt.Printf("unable to read next page: %v\n", err)
            continue
        }

        for _, t := range page.ResourceTagMappingList {
            fmt.Printf("arn: %s\n", *t.ResourceARN)
        }

        // Until the bug (see link below is fixed), we need to do this for the paginator:
        // https://github.com/aws/aws-sdk-go-v2/issues/1201
        if *page.PaginationToken == "" || page.PaginationToken == nil {
            break
        }
    }
}

推荐阅读