sql - 每晚 SQL 数据库到 Postgres RDS 实例
问题描述
每天我都会在数据库中获取大量数据(此过程需要一个文本文件并将其处理到 sql 数据库中,但每天只有一次。)
我现在的问题是我希望能够在云中拥有两个数据库。由于需要处理多个文本文件并逐行加密一些文件,我只想导出一个添加的 csv 并将它们放在一个 s3 存储桶上,然后做一些事情将它们放入我的数据库中。我们选择了 postgres,我正在寻找一种将新数据输出为 csv 的方法,放入云中,然后每晚自动添加更改。
我的疯狂复杂的想法有解决方案吗?我不想浪费时间在云中处理它,因为我目前做得很好,我只想安全地将我的数据添加到 RDS 实例。
提前致谢。
我已经看到了 postgres 的 Copy 功能,但它似乎不适用于日常添加,我希望它自动化。
解决方案
推荐阅读
- sql - FAILED: SemanticException Line 0:-1 Unsupported SubQuery Expression yyyy-MMM-dd: 只允许作为顶级连接的子查询表达式
- reactjs - .Net 核心和 React uppy.io 110mb 文件上传异常“请求内容意外结束”。
- node.js - $lookup 查找数组中的 ObjectId 并将其投影到同一个数组
- powershell - 如何修改这个 PowerShell 脚本?
- mysql - 在子查询中使用基表的字段不起作用
- mongodb - MongoDB 集合架构和数据模型
- amazon-web-services - AWS - 识别 Lambda 从 DynamoDB 流中读取的数据
- php - I am looking for a way to compare months in PHP
- angular - 更改参数而不更改订阅
- javascript - 使用 Javascript 使用选择选项重新编号动态表单集后,选定的选项将被删除