postgresql - 数百万行的飞行路线
问题描述
我需要在 PostgreSQL 数据库中插入 3-4 百万行。这将是静态查找数据。
在生产过程中,我们有各种暂存环境。我已经在 Stack Overflow 上看到了关于我们如何在不使用 Flyway 的情况下做到这一点的所有答案,但是在处理如此数量的数据时,有没有人有使用 Flyway 的经验?是不是首发?Flyway完美解决了我们面临的所有问题。
互联网搜索并没有真正出现,所以我猜测 Flyway 并不适合处理如此大量的数据,但如果有人尝试过它以及他们发现了什么,我会很感兴趣。如果这甚至可以远程实现,我们应该如何按大小划分导入文件以进行优化?
解决方案
实际上它最终是大约 300 万条记录。我们将文件分解为每个文件 100,000 条记录,因此大约有 30 个文件。Flyway 对此完全没有问题,运行脚本需要 30 秒左右。
我们不确定我们是否会使用 flyway 来保持记录最新,但对于启动数据来说,它是完美的解决方案
推荐阅读
- ruby - 无法安装 Ruby-Debug-Ide
- python - 如何在一个地图图形中绘制多个 GeoDataFrames(重叠)?
- linux - 从终端执行带有导入库的 vpk_linux32 的 shell 脚本失败
- selenium - 如何在浏览器页面加载之前使用 selenium 运行机器人类命令
- c# - 在 IIS(版本 10)的“默认网站”中添加应用程序时出现 404 错误
- c - 如何使用一个简单的语句来描述关于 C 中函数 'sprintf' 的重复格式说明符?
- c# - 与 UserControl 属性的简单绑定 - 无法正常工作但没有错误
- git - Git pull 不显示所有消息
- java - "status":400,"error":"Bad Request","message":"必需的日期参数 'end' 不存在"
- android - 如何将自己的图像插入 SQLite 表?