snowflake-cloud-data-platform - 从雪管连续数据加载设置之前加载

Question

我已经设置雪管从 S3 存储桶连续加载表中的数据。这已经运行了大约一个月（即> 14 天）。在设置雪管之前，存储桶中有数据，我们还需要将这些文件加载​​到雪花中。Snowpipe 显然只保留 14 天的复制历史数据。什么是识别尚未摄取到表中的文件并批量导入它们的好方法？

标签： snowflake-cloud-data-platformsnowflake-pipe

Answer 1

你试过下面的视图吗

SNOWFLAKE.ACCOUNT_USAGE.COPY_HISTORY 。它存储从复制到命令以及雪管负载历史的最近一年的负载历史数据

获取使用雪管加载的文件列表，然后您可以计划所有剩余的文件加载。

请同时查看有关延迟的使用说明

https://docs.snowflake.com/en/sql-reference/account-usage/copy_history.html