首页 > 解决方案 > 复制到脚本以复制多个表并用于日常运行

问题描述

(代表雪花用户提交此内容,希望获得更多见解或替代建议......)


我们正在尝试使用 COPY INTO 语句将数据从 azure blob 复制到雪花表。

在创建暂存区时,它需要 SAS 令牌。

如果我想使用相同的暂存区将此副本运行到脚本中,如何每天使用新的 SAS 令牌自动创建暂存区。

除了 SAS 令牌之外,还有其他方法可以访问 Azure 中的 blob

还可以帮助我是否可以创建存储过程来自动化所有这些任务,例如

--> 使用 SAS 令牌创建暂存区

--> 创建文件格式

--> 复制到语句中。

请帮我


建议 #1: 我建议查看任务或查看 Snowflake 网站上的技术合作伙伴部分,找到最适合您的场景的 ETL/ELT 工具。大多数工具都与 Azure 进行了本机集成,因此您无需手动生成令牌,它将使用密钥完成。


建议 2: 我认为您的挑战与您正在使用的工具无关,而是与您的 SAS 令牌到期有关。您是否有意每 24 小时使您的令牌过期?如果您延长其持续时间,那么您将不必每天使用新的 SAS 令牌创建新阶段。

如果您每天都尝试轮换 SAS 令牌,那么我的建议是创建一个脚本(python 或其他东西),该脚本实际上从 Azure 请求新令牌,然后创建然后使用新令牌重新创建您的阶段。存储过程或任务无法为您从 Azure 检索 SAS 令牌,因此我不确定您将如何使用 SP 或任务完全自动化此过程。


还有其他建议或替代解决方法吗?

标签: snowflake-cloud-data-platform

解决方案


推荐阅读