snowflake-cloud-data-platform - 复制到脚本以复制多个表并用于日常运行
问题描述
(代表雪花用户提交此内容,希望获得更多见解或替代建议......)
我们正在尝试使用 COPY INTO 语句将数据从 azure blob 复制到雪花表。
在创建暂存区时,它需要 SAS 令牌。
如果我想使用相同的暂存区将此副本运行到脚本中,如何每天使用新的 SAS 令牌自动创建暂存区。
除了 SAS 令牌之外,还有其他方法可以访问 Azure 中的 blob
还可以帮助我是否可以创建存储过程来自动化所有这些任务,例如
--> 使用 SAS 令牌创建暂存区
--> 创建文件格式
--> 复制到语句中。
请帮我
建议 #1: 我建议查看任务或查看 Snowflake 网站上的技术合作伙伴部分,找到最适合您的场景的 ETL/ELT 工具。大多数工具都与 Azure 进行了本机集成,因此您无需手动生成令牌,它将使用密钥完成。
建议 2: 我认为您的挑战与您正在使用的工具无关,而是与您的 SAS 令牌到期有关。您是否有意每 24 小时使您的令牌过期?如果您延长其持续时间,那么您将不必每天使用新的 SAS 令牌创建新阶段。
如果您每天都尝试轮换 SAS 令牌,那么我的建议是创建一个脚本(python 或其他东西),该脚本实际上从 Azure 请求新令牌,然后创建然后使用新令牌重新创建您的阶段。存储过程或任务无法为您从 Azure 检索 SAS 令牌,因此我不确定您将如何使用 SP 或任务完全自动化此过程。
还有其他建议或替代解决方法吗?
解决方案
推荐阅读
- python - Python:带有字符串列表和子字典的嵌套字典
- python - .bashrc 没有激活 conda
- python - 在 Django 中查询用户的收藏夹
- c# - 如何使用 .net 框架构建 .net5 项目
- javascript - 关于javascript自动完成有更快的方法吗?
- typescript - 请参阅保留泛型的函数类型
- javascript - 如何在原生 javascript 中使用 Jquery 插件 -- [specturm 颜色插件]
- angular - How to Declare a Variable for Later in a Component?
- shapes - 在给定点数组的情况下查找形状
- javascript - 我的 react-simple-image-slider 接缝不工作 | 反应JS