java - Manifoldcf documentum 爬行缓慢

Question

我们正在使用 ManiFoldCF documentum 连接器从 DCTM 存储库中爬取数据，并将爬取的数据写入 MongoDB。使用限制值 500 触发爬网。但是每分钟的爬网速度非常慢，连接器仅获取 170 个文档。安装 MCF 的服务器配置了足够的内存和 8 个逻辑核心 (CPU)。有人可以在这里帮助我们提高爬行速度吗？

标签： javaelasticsearchsolropen-sourcemanifoldcf

Answer 1

更好地调整爬行数据库（PostgreSQL）是一个好的开始。

您可以使用一些参考： https ://manifoldcf.apache.org/release/release-2.13/en_US/performance-tuning.html