azure - 将数据从 Teradata 移动到 Snowflake

Question

试图将数据从 Teradata 移动到 Snowflake。已经创建了一个进程来为每个表运行 TPT 脚本来为每个表生成文件。

在雪花中运行 COPY INTO 时，文件也会被拆分以实现并发。

需要了解将这些文件从 On Prem Linux 计算机移动到 Azure ADLS 的最佳方式是什么。考虑 TB 大小的文件。

Azure 是否提供任何机制来移动这些文件，或者我们可以直接从 Teradata 在 ADLS 上创建文件吗？

标签： azureteradatasnowflake-cloud-data-platform

Answer 1

如果您有 Azure Blob 存储或 ADLS Gen2，则通过外部表将数据加载到雪花的最佳方法。将数据加载到 Blob 存储并创建外部表，然后将数据数据加载到雪花。