etl - 使用雪管将数据加载到雪花期间的数据聚合

Question

我正在评估雪花以报告用例。我正在考虑ETL的雪管。从 S3 摄取数据。S3 中的数据包含有关定期捕获的用户会话的信息。在雪花中，我想存储这些数据聚合。根据文档，雪花仅支持基本转换，并且在将数据从 S3 暂存复制到雪花中的表期间不支持分组和连接。

我是 ETL 和雪花的新手。我正在考虑的一种方法是将原始详细数据从暂存加载到雪花中的临时表。然后在临时表上运行聚合（分组和连接）以将数据加载到最终事实表中。这是实现复杂转换的正确方法吗？

标签： etlsnowflake-cloud-data-platform

Answer 1

Snowflake 中的临时表只保留在创建它们的会话中。这意味着您将无法将 Snowpipe 指向它。

将 Snowflake 指向一个临时表来存储原始数据，而不是临时表，然后在一段时间后截断该表。这将降低成本。就个人而言，只要成本不太高，我会尽可能长时间地将数据保存在瞬态表中。这是为了考虑潜在的延迟数据等。