python-3.x - 将 S3 中多个文件夹中的相同文件合并/加载到雪花中
问题描述
需要有关如何将多个文件夹中可用的相同文件加载到雪花表中的帮助。是否有可能实现使用Snowflake Copy Command
?
说在一个桶中我有.. a.csv 的所有文件仅在当前日期示例下 2020/06/09 将进入a_table
2020 -- 是年份,然后是月份 06,然后是日期,即 09
bucket_a
ts
ts_folder
2020
06
08
a.csv
b.csv
c.csv
d.csv
09
a.csv
b.csv
c.csv
d.csv
ts_folder2
2020
06
08
a.csv
b.csv
c.csv
d.csv
09
a.csv
b.csv
c.csv
d.csv
解决方案
使用以下代码实现
SET curr_dt=(
SELECT
'.*/' ||
TO_VARCHAR(CURRENT_DATE(), 'YYYY/MM/DD') ||
'/a\\.csv'
)
-- Referenced as a SQL variable in the PATTERN option
COPY INTO a_table
FROM @stage/ts/
(PATTERN=>$curr_dt);