时间戳

首页 > 解决方案 > 两次上传相同文件后，雪管无法正常工作

snowflake-cloud-data-platform - 两次上传相同文件后，雪管无法正常工作

问题描述

只是在玩雪管。我让它工作。我会将文件放到 S3 上，然后 Snowpipe 将数据加载到 Snowflake 表中。

但是，当我将同一个文件两次复制到 S3 存储桶中时，Snowpipe 没有拾取它或任何不重复的后续文件。

为了显示：

    Uploaded file1.txt into the S3 bucket - success 
    Uploaded file2.txt into the S3 bucket - success 
    Uploaded file3.txt into the S3 bucket - success 
    Re-Uploaded file1.txt into the S3 bucket - no result - table was not updated 
    Uploaded file4.txt into the S3 bucket - no result - table was not updated

我该如何解决这个问题？或解决此问题。

谢谢

标签： snowflake-cloud-data-platform

解决方案

一些澄清：

  1. 是的，Snowpipe 不会再次加载文件。如果文件有错误需要修改，则需要重命名（例如file1v2.txt）
  2. 您注意到的有关下一个未加载文件的行为是意外的，需要进行故障排除。下一个文件是否有任何问题（因为它显示为待处理文件数为 1）？您是否可以从 Snowflake 外部访问它？你可以在它上面运行 COPY 来加载它来说另一个表吗？
  3. Snowpipe 在 Azure 和 AWS 上的行为类似，但队列所有权除外（Azure blob 存储不会传送到另一个订阅中的队列）。
  4. 多个管道在 AWS 上共享同一个队列，我们​​使用存储桶/前缀来解复用到不同的管道。

迪内什·库尔卡尼

（下午，雪花）

推荐阅读