snowflake-cloud-data-platform - 将文件添加到 AWS s3 后,雪花雪管文件不会自动摄取
问题描述
我为一张雪花桌创建了雪管。源文件将定期登陆 AWS S3 存储桶,因此请按照以下步骤创建雪管:
- 创建外部舞台
- 使用“PUT”命令查询文件(可以在结果面板中查看可用文件列表)
- 创造了雪管
- 在 S3 存储桶上配置 SQS 通知
- 添加了一个示例文件,它的 noy 会自动加载
- 使用以下命令更改雪管:alter pipe snowpipe_content refresh;
- 一段时间后,该文件被添加到雪花目标表中。
有人可以帮我弄清楚我在雪管设置上错过了什么
解决方案
请按照以下设置解决您的雪管问题:
步骤:我:检查你的雪管的状态: SELECT SYSTEM$PIPE_STATUS('pipe_name'); 确保您的管道状态为 RUNNING
步骤二:检查与雪管关联的表的复制历史:select * from table(information_schema.copy_history(table_name=>'table_name', start_time=> dateadd(hours, -1, current_timestamp())));
Ensure the file is not loaded from the list / errored.
第三步:验证你的雪管负载 select * from table(validate_pipe_load( pipe_name=>'pipe_name', start_time=>dateadd(hour, -1, current_timestamp())) );
如果上述步骤看起来不错,则可能是您的 SQS 通知设置有问题:
通过参考以下链接关注雪花文章: 雪花知识库
推荐阅读
- r - r - 具有定义窗口的滚动线性回归
- c++ - 如何在 Visual Studio 中使用 GoogleMock?
- logging - 无法使用基于日志的指标显示数据
- python - ValueError:尝试在python中添加两个多维数组时,无法将输入数组从形状(4,1)广播到形状(4)
- java - 改造相当于发布请求
- android - Flutter:迁移到 AndroidX 后无法生成发布 apk,相机插件出错
- python - 我在 seaborn 进口中面临这个问题:
- http-headers - openvpn http-proxy-option 标头,在服务器端做吗?
- c++ - 具有关联锁的对象或引用/指针的正确术语是什么?
- c# - 插入后 cosmos mongodb 属性中缺少属性