scala - 如何在 spark jdbc savemode.overwrite 中进行异常处理?
问题描述
我有一个写入 postgres db 的 spark 作业。我目前正在使用带有 truncate=true 的 savemode.overwrite。因此,每当 Spark 作业运行时,它都会截断表并写入数据。
我想知道在进行插入覆盖时,火花作业失败是否有可能导致数据被截断但不插入?
我试图确保如果 spark 作业失败,我最终不会得到一张空桌子。
解决方案
推荐阅读
- python - 在单个示例上没有收敛 CTC 损失和波动的标签错误率(编辑距离)?
- ios - TagListView 单选 swift 4
- python - 如何跳过索引
- twitter-bootstrap - 使用带有 scss 颜色图的渐变 - 有可能吗?
- android - Onesignal 推送通知到特定类别
- perl - 如何四舍五入数组中的十个随机数?
- arrays - 如何使用实例变量在另一个变量中访问其对象并返回
- ios - 在模拟器中使用 SWRevealViewController 时导航延迟
- php - 如何搜索整个句子形式的mysql数据库?
- node.js - 如何从 Vue.js 组件连接到 socket.io?