snowflake-cloud-data-platform - 处理 Snowpipe 自动摄取中的不良记录
问题描述
我正在使用 Snowflake 的雪管自动摄取多个文件，每个文件有 1000 条 json 记录。我观察到的是，如果任何文件有错误记录，比如变体列无法容纳的记录大小 > 16 MB 限制，管道会从文件加载部分数据，直到出现错误记录条目，并忽略文件中的其余记录. 例如，如果我在位置 150 有一条坏记录，那么只有 149 条记录被加载，而 850 条记录中的剩余记录将丢失。我想要的是忽略坏记录并加载所有其他 999 条记录。我可以使用管道中的配置或其他东西吗？我正在使用 on_error = 'continue' 当前在管道中。任何帮助深表感谢。谢谢你！
解决方案
推荐阅读
- highcharts - 高图上具有负值的 nGradient 效果
- tcl - TclOO：将“null”值分配给对象
- c# - 如何为 c# autocad 插件 + 自定义菜单创建安装程序
- python - 为什么即使我捕捉到异常，django 也会打印异常的回溯？
- loopback4 - Loopback4“待办事项”教程似乎只是部分工作
- python-2.7 - pyinstaller 和多个 tkinter 窗口的问题
- pdf-generation - DomPDF & 4 栏
- java - JMH - 错误：无法找到资源：/META-INF/BenchmarkList
- c# - 无法使用 Firebase 配置保存和加载
- docker - 码头同步问题：我正在运行 docker-sync start cmd，但出现错误