sqoop - 在数据处理之间会发生什么 sqoop 失败

Question

当 Sqoop 导入作业在将数据导入 RDBMS-HDFS 时失败时会发生什么，反之亦然？

标签： sqoop

Answer 1

Sqoop可以将数据导出HDFS到RDBMS使用并行数据传输任务中。每个任务都会打开一个到数据库的连接，通过事务插入到数据库中，并定期提交。这意味着在整个导出作业完成之前，部分数据将在数据库中可用。

如果导出地图任务在多次重试后仍然失败，则整个作业都会失败。任务失败的原因可能包括网络连接问题、数据库完整性约束、格式错误的记录HDFS、集群容量问题等。在这种失败情况下，已经提交的数据在数据库中仍然可用。