pentaho - Pentaho：恢复转型

Question

最近我遇到了一个问题。导致它的转换具有“插入/更新”步骤，该步骤对具有超过 2 亿条记录的表进行操作。在与数据库服务器的连接丢失并且我手动重新运行转换后，可以在日志窗口中看到该步骤重新检查了它在连接丢失之前已经下载的记录。我知道这是该步骤的逻辑行为。但是我没有机会下载所有的记录。有时该过程在 1500 万条记录后停止，有时在 5000 万条记录后停止。如何处理这个问题？我考虑了主键值的自动递增并在连接丢失后保存最后一个主键值。或者按主键对目标表的记录进行排序，找到间隙并使用间隙中的值恢复加载。

标签： pentaho

Answer 1

Pentaho 有检查点，您可以为作业启用这些检查点，这些检查点允许您在因任何原因停止的检查点处重新启动作业。https://help.pentaho.com/Documentation/8.2/Products/Data_Integration/Data_Integration_Perspective/Job_Checkpoints

但是，这不是转换级别可用的东西。您关于使用序列或自动递增字段的想法可能是您最好的选择。