pentaho - Pentaho 数据集成 MongoDB 输入速度很慢

Question

我需要从 MongoDB 中提取数据并放入数据库，MongoDB 是具有 2 个辅助的副本集，我从辅助读取 MongoDB 数据。
我设置了一个简单的转换（MongoDB Input to Dummy step）来测试速度，但 MongoDB 读取速度通常在 200 行/秒左右。
我认为这太慢了。
有谁可以分享您的经验，MongoDB 输入步骤的通常速度是多少以及如何优化？
谢谢！

标签： pentahopentaho-data-integration

Answer 1

我最近没有使用 mongodb，但我可能会建议检查一些事情

1. 你是从本地机器还是远程服务器运行，如果是，当你运行转换时，你可以检查网络速度，因为你可能在网络上发送数据，这可能很慢。我们通常在数据库服务器上运行转换时配置一个购物车服务器以提高性能。

2. 检查您可能需要根据您正在工作的流更改它的提交大小，通常增加它有助于改进。

看看下面是否可以帮助你https://help.pentaho.com/Documentation/6.1/0L0/0Y0/090/020#OptimizeDS