pentaho - 检查复制数据 Pentaho
问题描述
我有大约 100 个表,我们将数据复制到其中,例如来自 Oracle 数据库。我想快速检查复制到 db2 中表的数据是否与源系统中相同。有没有人有办法做到这一点?我可以创建 100 个转换,但这很单调且耗时。我宁愿循环处理这个。我想我会将查询保存在一个表中并进入它以获取记录。
我从表输入(sql_db2、sql_source、table_name)中读取数据并将执行复制行写入结果。接下来我读取单个记录,然后读取单个记录并将其放入循环中。
但是这里出现了一个问题,因为我不知道如何动态比较表的数据。每个表都有不同的列,这里我有一个问题。
不知道这是否也可以?
解决方案
您可以将元数据(在这种情况下,您的元数据将是列名和表名)注入到 Pentaho 中的许多步骤中,您创建一个转换来收集元数据以注入另一个只有步骤和一些基本信息的转换,但是受不同步骤影响的列的大部分信息都在注入元数据的转换中。
查看有关元数据注入 (MDI) 的 Pentaho 官方文档和示例,其中包含 PDI 安装中可用的元数据注入的基本示例。
推荐阅读
- sql-server - 在 SQL Server 中按 order by 求和分区
- installshield - 使用 setup.exe 在后台静默卸载
- vue.js - V-model 给出: v-on 处理程序中的错误:“TypeError:'in' 的右侧应该是一个对象,得到了 null”与计算函数
- spring-boot - 如何在 Tomcat 中的多个 Spring Boot 应用程序之间传递 Camel VM 消息
- python - 熊猫中有一个函数可以帮助我计算每个行列表中的每个字符串吗?
- python - 根据来自另一个列表的参数提取和比较列表的值
- apache-kafka - Kafka Streams 应用程序是否为用于填充全局 KTable 的主题提交offets?
- python - 如何解决 2 个库(NetCDF4 和 geopandas)之间的冲突
- javascript - 如何从单独的文件中使用 useState 渲染 React 对象?
- reactjs - 如何在反应中显示所有路由的公共组件