kubernetes - 有多少执行者在 Kubernetes 中部署了气流
问题描述
我是 Airflow 和 kubernetes 的新手。
我已经按照本指南部署了气流:https ://docs.bitnami.com/tutorials/deploy-apache-airflow-azure-postgresql-redis/
我了解执行者是 celeryExecutor。我试图将其更改为 kubernetesexecutor 但我真的不知道该怎么做。
我已经读过 celery 执行器创建静态工作者和 kubernetes 执行器为每个任务创建一个 pod。
我不知道我的 celery executor 部署了多少个工人,以及如何增加他们。
解决方案
我假设您使用Bitnami Helm 图表将 Airflow 部署到 Kubernetes。
在 values 文件中,配置设置airflow.worker.replicas
控制将部署多少个工作 pod。默认值为 2。
推荐阅读
- postgresql - 分页不适用于春季批处理中的 JpaPagingItemReader 和 jpql 请求
- multithreading - 使用kombu时gevent中的ConcurrentObjectUseError
- web-scraping - 我正在尝试使用 requests_html 获取图像链接(.jpg)。谁能帮我?
- c# - How can i use sum ? with more then 2 key
- javascript - 如何在 VueJS 中实现具有动态行跨度的自定义表?
- json - 如何通过键入 localhost 访问 JSON 文件中另一个表中的特定表?
- python-3.x - Python 3.7 自动生成空字典
- php - 为什么我的 PHP date_diff 不能正常工作?
- spring - 如何获取 SpringBoot REST API 服务的响应时间?
- reactjs - Reack hook useState(初始化函数)调用了两次,甚至根本不改变数据?