时间戳

首页 > 解决方案 > 在将数据库从一个迁移到另一个时保持数据库一致性的最佳方法是什么

mysql - 在将数据库从一个迁移到另一个时保持数据库一致性的最佳方法是什么

问题描述

目前我正在尝试做的是将数据从数据库迁移到数据库 A到数据库 B我正在使用 ETL 作业 (PENTAHO KJB) 进行此操作。两个数据库都不相同，但是数据库 A 的 pk 存储在数据库 B 中

有一些工作 x 不断用新数据更新数据库 A。每当数据库 A 中有任何新数据时，我都需要在数据库 B 的表中添加数据。

我目前正在使用什么方法。

  1. 维护具有上次更新数据库 B 表时间的详细信息的表，因此可以将其与数据库 A 表进行比较并检查行的创建日期。

2 如果表A的PK存在于表B中，则根据PK检查唯一性，这意味着该数据存在于表B中。

最好的方法是什么。如果我的任何方法是正确的？

标签： mysqldatabaseamazon-redshiftpentahopentaho-spoon

解决方案

你可以通过很多方法来设计这样的东西。你在做什么听起来不错，如果它没有坏，就不要修理它。

也就是说，我认为 Pentaho 中的 Dimension Lookup/update 步骤可能对你很有效。您可以在步骤中指定技术密钥，然后更新或插入（在您的情况下，插入）您想要从一个表到另一个表的所有数据。它最初用于缓慢变化的尺寸，但我认为它也适用于您的情况。你可能会检查一下。虽然，根据您要更新的这些表的大小，此步骤可能太慢。

https://wiki.pentaho.com/display/EAI/Dimension+Lookup-Update

推荐阅读