snowflake-cloud-data-platform - 有没有办法减少雪管加载时间？

Question

我正在阅读本用户指南，其中提到“通常”雪管需要 1 分钟来加载数据。在我的实验中，我发现它总是需要一分钟。这 1 分钟的延迟是从哪里来的？感觉每分钟都在进行一些批处理。是否有某个地方可以进一步降低它。

标签： snowflake-cloud-data-platformsnowflake-pipe

Answer 1

到今天为止，还没有任何设置可以减少这种延迟——你实际上是在逐分钟进行微批处理。

如果您想进行更频繁的更新，最好的选择是保持仓库运行并向其提交UPDATE或COPY查询。

如果您不需要低于分钟的延迟，您应该使用 Snowpipe 和可能的 Kinesis Firehose 之类的工具将记录批处理到一个文件中，该文件每分钟一次放入 S3。