ftp - 使用 Snowpipe 直接从 FTP 到 Snowflake 的连续文件加载

Question

我想将文件从 FTP 服务器增量复制到雪花中。

目前，我正在使用每 15 分钟运行一次的 ADF 管道并将它们复制到 Azure Blob 存储中。然后我有 Snowpipes 将它们摄取到 Snowflake 中的目标表中。但是，我正在寻找更优化的解决方案。

有没有办法将数据直接从 FTP 加载到 Snowflake，而不是使用 ADF 将文件复制到 Azure blob 存储并从那里读取它们？

谢谢

标签： ftpcopysnowflake-cloud-data-platform

Answer 1

您有 2 个备选方案：

1. 使用逻辑应用而不是 ADF。在逻辑应用中，添加 FTP 组件（添加或修改文件时）。
2. 在 ADF 或逻辑应用程序中使用流和任务而不是雪管。