时间戳

首页 > 解决方案 > 在 S3 中自动创建文件夹

amazon-web-services - 在 S3 中自动创建文件夹

问题描述

我有一个 S3 存储桶，客户每月将数据文件（CSV 文件）放入其中。我想知道有一种方法可以在每个月删除文件时自动创建一个新的“文件夹”（对象）并将最新的文件放入该“文件夹”中。我需要按月分隔的 CSV 文件，以便当我在此存储桶上运行增量爬虫时，AWS Glue 可以创建新分区。

例如，假设我有一个名为“客户端”的 S3 存储桶。12 月 1 日，一个新的 CSV 文件（“DecClientData”）将被放入该“客户端”存储桶中。我想知道是否有办法自动化以下两个过程：

  1. 在“客户端”中创建一个“文件夹”（我们称之为“dec”）。
  2. 将“DecClientData”文件放在“dec”“文件夹”中。

提前感谢您提供的任何帮助！

标签： amazon-web-servicesamazon-s3aws-gluebucket

解决方案

编写一个 AWS Lambda 函数以在客户端存储桶中创建一个文件夹，并将最新的 .csv 文件（或多个文件）移动到新文件夹中。

然后，配置客户端S3 存储桶以通过事件通知设置在新上传时触发 AWS Lambda 函数。

推荐阅读