时间戳

首页 > 解决方案 > Airflow：如何通过他们的 docker-compose.yml 安装 pip 包？

docker - Airflow：如何通过他们的 docker-compose.yml 安装 pip 包？

问题描述

好吧，我可能很愚蠢，但无论如何；如何通过气流的 docker-compose 文件安装其他 pip 包？

我假设他们应该是一个标准的功能来拿起一个requirements.txt或一些东西。在检查他们的repo时，我确实看到一些类似的 ENV 变量ADDITIONAL_PYTHON_DEPS提示我这应该是可能的，但是在 docker-compose 文件中设置这些变量实际上并没有安装库。

version: '3'
x-airflow-common:
  &airflow-common
  image: ${AIRFLOW_IMAGE_NAME:-apache/airflow:2.0.1}
  environment:
    &airflow-common-env
    AIRFLOW__CORE__EXECUTOR: CeleryExecutor
    AIRFLOW__CORE__SQL_ALCHEMY_CONN: postgresql+psycopg2://airflow:airflow@postgres/airflow
    AIRFLOW__CELERY__RESULT_BACKEND: db+postgresql://airflow:airflow@postgres/airflow
    AIRFLOW__CELERY__BROKER_URL: redis://:@redis:6379/0
    AIRFLOW__CORE__FERNET_KEY: ''
    AIRFLOW__CORE__DAGS_ARE_PAUSED_AT_CREATION: 'true'
    AIRFLOW__CORE__LOAD_EXAMPLES: 'false'
    AIRFLOW__API__AUTH_BACKEND: 'airflow.api.auth.backend.basic_auth'
    AIRFLOW__WEBSERVER__EXPOSE_CONFIG: 'true'
    ADDITIONAL_PYTHON_DEPS: python-bitvavo-api

volumes:
    - ./dags:/opt/airflow/dags
    - ./logs:/opt/airflow/logs
    - ./plugins:/opt/airflow/plugins
    - ./requirements.txt:/requirements.txt

显然我的码头工人经验非常有限，但我错过了什么？

标签： dockerpipairflow

解决方案

在此处的 Airflow 文档中，有一个关于如何实现所需内容的非常详细的指南。根据您的要求，这可能就像 From在创建新 Dockerfile 时使用指令扩展原始映像一样简单，或者您可能需要自定义映像以满足您的需求。

如果您使用扩展映像方法，您的新 Dockerfile 将如下所示：

FROM apache/airflow:2.0.1
USER root
RUN apt-get update \
  && apt-get install -y --no-install-recommends \
         build-essential my-awesome-apt-dependency-to-add \
  && apt-get autoremove -yqq --purge \
  && apt-get clean \
  && rm -rf /var/lib/apt/lists/*
USER airflow
RUN pip install --no-cache-dir --user my-awesome-pip-dependency-to-add

然后你可以在 docker-compose 文件中添加类似这样的东西：

...
version: "3"
x-airflow-common: &airflow-common
  build: . # this is optional
  image: ${AIRFLOW_IMAGE_NAME:-the_name_of_your_extended_image
  ...
...

最后，构建您的图像并使用 compose 重新打开一切。尝试文档以获取详细信息或完整说明。希望对你有用！

推荐阅读