amazon-s3 - 如何从亚马逊 S3 存储桶中获取特定文件到雪花阶段表
问题描述
每天都有文件推送到 Amazon S3 存储桶中,我必须获取特定的日期文件才能在表中执行日级别聚合。我必须避免从 S3 存储桶中获取所有文件。
示例文件名:
销售:abc:2020:02:22 _01:15:04.csv 销售:abc:2020:01:30 _01:21:04.csv 销售:abc:2020:01:30 _01:51:04.csv 销售:美国广播公司:2020:01:30 _01:23:04.csv
我已经完成了 S3 存储桶的设置,并且可以使用以下查询读取数据,但我应该将文件名日期部分作为动态传递以获取日级文件。
select
$1 as timestamp,
$3 as unitssold,
$4 as rate
from @s3_realtime/sales:abc:2020:01:30_01:21:04.csv
有人可以帮助我吗?
解决方案
推荐阅读
- reactjs - 如何使用 react、redux 和 graphql 解决“未定义的 proptype”错误
- ruby-on-rails - 在 Rails 中打开 Internet 探索时的警报消息
- mysql - 如何提高这个 MySQL 7 天滚动平均查询的性能?
- r - 如何使用 R 实现自动化
- r - 如何检查给定的单词是否可以组成R中的单词?
- python-3.x - 在 python 3 中使用 strptime 以 dmY 格式解析日期和 mdY
- java - 如何使用 log4j 自定义附加程序在 HDFS 上创建日志?
- php - API 平台 - 通过 IRI 迭代资源
- javascript - 在 for 循环中使用异步等待时出现错误的请求错误
- spring - 静态 application.properties 值有效,但动态值无效