apache-spark-sql - Spark JDBC 写入 Teradata：由于死锁错误导致多个 Spark 任务失败，Transaction ABORTed 导致 Stage 失败

Question

我正在使用 spark JDBC write 将数据从配置单元加载到 teradata 视图。我正在使用 200 个 vcore 并将数据划分为 10000 个分区。

Spark 任务失败并出现以下错误，导致阶段失败。有时应用程序成功完成但有一些重复记录

由：java.sql.SQLException: [Teradata Database] [TeraJDBC 16.20.00.10] [Error 2631] [SQLState 40001] Transaction ABORTed 由于死锁。

以下是我使用的代码：

val df = spark.sql("select * from hive table").distinct.repartition(10000).write.mode(overwrite) .option("truncate", Truncate).j​​dbc(url,dbTable, dproperties)

Teradata 视图是使用“AS LOCKING ROW FOR ACCESS”创建的。该表还有一个唯一的 PI。

我无法弄清楚为什么某些 spark 任务因死锁错误而失败，有没有办法可以阻止我的整个 spark 应用程序因任务失败而失败。

标签： apache-spark-sqlteradatadeadlockspark-jdbc

Answer 1

数十个会话试图插入同一个表可能会导致死锁。即使视图是使用访问锁定义的，也必须获得写锁才能将行插入后备表。