oracle - Oracle 到 Snowflake 数据源

Question

我正在努力在雪花中创建数据湖，来源是 Oracle DB。将数据从 Oracle DB 获取到 Snowflake 的最佳方式是什么？

标签： oraclesnowflake-cloud-data-platform

Answer 1

Snowflake 有多种加载数据的方法，但总是包含一个舞台区域。

从本地开始，数据需要被放入一个阶段，或者直接放入云上的阶段，例如 AWS 的 S3 存储桶或...... Azure 上的 Azure Blob Store！我忘记了 GCP 选项叫什么。这可以注册为外部阶段。

您还可以将文件放入 Snowflake 的内部阶段，这样数据就会立即加密，而无需您对其进行配置。

在阶段之后，数据被复制到一个表中，现在执行上述操作的选项会根据您想要执行的操作而有所不同。

• 使用 ETL/ELT 工具，这将自动执行上述一些操作并为您提供血统
• 使用 Snowpipe，这适用于加载更频繁的较小工作负载

数据如何到达您需要解决的阶段，每个客户都是不同的。它可能是上述之一，甚至可以使用 Kafka，您需要做一些工作，这也取决于您将如何获取 Snowflake 的数据。