首页 > 解决方案 > 数百万行的飞行路线

问题描述

我需要在 PostgreSQL 数据库中插入 3-4 百万行。这将是静态查找数据。

在生产过程中,我们有各种暂存环境。我已经在 Stack Overflow 上看到了关于我们如何在不使用 Flyway 的情况下做到这一点的所有答案,但是在处理如此数量的数据时,有没有人有使用 Flyway 的经验?是不是首发?Flyway完美解决了我们面临的所有问题。

互联网搜索并没有真正出现,所以我猜测 Flyway 并不适合处理如此大量的数据,但如果有人尝试过它以及他们发现了什么,我会很感兴趣。如果这甚至可以远程实现,我们应该如何按大小划分导入文件以进行优化?

标签: postgresqlimportflyway

解决方案


实际上它最终是大约 300 万条记录。我们将文件分解为每个文件 100,000 条记录,因此大约有 30 个文件。Flyway 对此完全没有问题,运行脚本需要 30 秒左右。

我们不确定我们是否会使用 flyway 来保持记录最新,但对于启动数据来说,它是完美的解决方案


推荐阅读