首页 > 解决方案 > EC2 实例、多个数据库上的 Python 脚本

问题描述

我有一个在 EC2 实例上运行的 Python 脚本。该脚本从特定数据库中提取数据,运行一些花哨的黑盒内容,然后将预测值表吐回原始数据库(使用 sqlalchemy 很有趣)。我被困的地方是:我现在需要将它复制 n 个数据库,每个数据库都有自己的凭据。我需要能够从不同的 Redshift 数据库(每个数据库用于不同的客户)中传递数据库参数。我在这里和 Medium 上阅读了许多帖子,但似乎没有一个解决这个特定的用例。欢迎任何建议、想法或想法。谢谢!

更新:

感谢您提供有用的建议。我正在使用 .yml 文件作为数据库凭据。我真的只需要 Python 来遍历 .yml 文件并一次提取一个数据库凭据,这样我就可以将脚本作为循环运行在所有数据库中。这是一个例子

  databases:

  - test_db1: 
      host: testhost
      database: test_database
      user: user1
      password: password1
      account: test_account
      warehouse: test_wh

  - test_db2: 
      host: testhost2
      database: test_database2
      user: user12
      password: password12
      account: test_account2
      warehouse: test_wh2

标签: pythondatabaseamazon-ec2pipeline

解决方案


推荐阅读