google-cloud-platform - Google Cloud Composer 和 Google Cloud SQL 代理
问题描述
我有一个使用 Cloud Composer 和 Cloud SQL 的项目。我能够连接到 Cloud SQL,因为我编辑了airflow-sqlproxy-service 的yaml,并将我的Cloud SQL 实例添加到用于airflow-db 的云代理上,映射到端口3307。
工作人员可以连接到端口 3307 上的airflow-sqlproxy-service,但我认为网络服务器无法连接到此。
我是否需要添加一些防火墙规则来映射 3307 端口,以便网络服务器或 UI 可以连接到 airflow-sqlproxy-service?
https://i.stack.imgur.com/LwKQK.png
https://i.stack.imgur.com/CJf7Q.png
https://i.stack.imgur.com/oC2dJ.png
此致。
解决方案
Composer 目前不支持从网络服务器配置额外的 sql 代理。对于这种情况,一种解决方法是使用单独的 DAG 来加载 Airflow 变量以及其他数据库所需的信息(通过具有访问权限的工作人员),然后根据 Web 服务器可以访问的变量生成 DAG。
https://github.com/apache/incubator-airflow/pull/4170最近被合并(目前在 Composer 中不可用),它定义了 CloudSQL 连接类型。这可能在未来适用于这些用例。
推荐阅读
- sql-server - Amazon DMS 能否在更改 Kafka 前后生成记录状态?
- python - 如何在“fit”调用期间调试 TensorFlow logits/标签形状问题?
- javascript - 查找最活跃的用户(每天)
- reactjs - 如何使用谷歌日历 API 创建一个新的谷歌会议
- ios - 在 iOS 上的 Chrome 中禁用第三方 cookie
- javascript - 因异常 TypeError 暂停:document.getElementById(...) is null
- mathematical-optimization - 最优碱基对偶值
- asp.net - 如何在不使用脚本的情况下从 ASP.NET 创建新的 SQL Server 数据库
- javascript - 如何使用 chart.js 删除图表实例
- sql - postgres 更新的性能问题