node.js - 从数据提取中解析和插入数千行的选项是什么

Question

我正在构建一个缓存更新器，以在本地 postgresql 数据库中缓存一些区块链数据。我使用 node-postgres 制作了一个 node js 脚本。获取所有数据后，我会执行一个 for in 循环来解析并一次插入一行。

我对 2000 行进行了测试，检索、解析和插入需要 5 分钟。一切都很顺利，但我将来可能会有更多的条目。通常，我应该只在开始时进行一次完全同步，然后是一个 cron 作业每 5 秒更新一次新条目。

由于本地数据库将定期备份，在最好的情况下，如果出现问题，我可以重新导入过去的本地备份并仅从那里同步丢失的条目。如果出现问题并且需要用 20 或 40 000 行重做完全同步，这仍然是循环中一次执行一行的有效选项吗？我知道这可能需要 1 小时或更长时间，但这仅适用于最坏的情况，所以时间不是问题。还是有更好的方法来做到这一点？

提前致谢。

标签： node.jspostgresqlnode-postgres