时间戳

首页 > 解决方案 > 在 Kettle 中加入来自不同来源的数据

kettle - 在 Kettle 中加入来自不同来源的数据

问题描述

我的数据库有以下表格：

USER
userid INT
username STRING

USER_SESSION_HISTORY
userid INT (foreign key to USER)
login_date DATETIME

然后我有一个带有这个标题的 CSV：

username;login_date

我需要将 CSV 数据插入到 USER_SESSION_HISTORY 表中。如您所见，我需要连接两个数据源（USER 表和 CSV 文件）才能获取用户 ID。

我是 Kettle 的新手，直到现在才开始学习非常简单的转换。

标签： kettlepentaho-data-integration

解决方案

您需要阅读 CSV 和 USER 表，在这两个步骤之后，您需要为每个步骤添加一个排序步骤（在排序步骤中检查区分大小写/不区分大小写的可能性），然后使用您合并的合并连接步骤两个数据流，您将其设置为 LEFT OUTER JOIN，左侧是 CSV 数据（来自排序步骤），右侧是 USER 数据（来自排序步骤），因此对于 CSV 中的每个用户名你看看用户名是否已经存在于 USER 表中。

在 MERGE JOIN 之后，您放置了一个过滤步骤，查看用户 ID 数据是否为 ​​NULL，如果为 NULL，则表示 CSV 中的用户名不存在，因此您需要先将其插入 USER 表中。

如果您有用户 ID（上一步中的过滤条件为 false），您可以简单地将数据插入 USER_SESSION_HISTORY 中，并使用您从 MERGE JOIN 中检索到的用户 ID。

对于过滤器中的真实条件（用户数据中没有以前的数据），这将取决于您如何生成用户 ID。如果您有一个与 userid 关联的序列，并且该列会自动填充该列的相应下一个值，您可以将用户名插入 USER 表，数据库将负责填充 userid。如果您不能简单地将用户名插入 USER 表中，则必须添加一些中间步骤来生成用户 ID，具体取决于您在数据库中的处理方式。

不知道插入 USER 表后能否看到生成的 userid，可以测试一下。如果在此转换中可用，则可以在 USER 表中的插入步骤之后添加一个块步骤，等待 USER_SESSION_HISTORY 中的插入步骤完成（对于用户表中已经存在用户名的数据，过滤步骤中的错误条件）。需要 block 步骤，因为 Pentaho 会同时运行所有步骤，除非您使用此 block 步骤，因此 USER_SESSION_HISTORY 表将被同时执行的两个事务阻塞。在块步骤之后，为 USER_SESSION_HISTORY 表添加第二个插入步骤。

如果您在插入后没有可用的用户 ID，我认为更简单的工作方法是使用两个转换，第一个是在 USER 表中插入新用户名，第二个转换是在 USER_SESSION_HISTORY 中插入数据，在第二个转换中，我们确定我们已经在 USER 表中拥有了所有可用的用户名 转换样机

推荐阅读