时间戳

首页 > 解决方案 > /home/airflow 的位置

google-cloud-platform - /home/airflow 的位置

问题描述

我在创建云作曲家环境时指定了 3 个节点。我尝试通过 SSH 连接到工作节点，但我无法在 /home 中找到气流目录。那么它的具体位置在哪里呢？

标签： google-cloud-platformairflowgoogle-cloud-composer

解决方案

Cloud Composer在 GKE 上运行 Airflow ，因此您不会直接在任何主机 GCE 实例上找到数据。相反，Airflow 进程在 Kubernetes 管理的容器中运行，这些容器可以将数据挂载或同步到/home/airflow目录。要查找目录，您需要在正在运行的容器中查找。

由于每个环境都将其 Airflow 数据存储在 GCS 存储桶中，因此您可以选择使用 Cloud Console 或gsutil. 如果你真的想/home/airflow用 shell 查看，你可以使用kubectl exec它允许你在 Kubernetes 集群中的任何 pod/container 上运行命令/打开 shell。例如：

# Obtain the name of the Composer environment's GKE cluster
$ gcloud composer environments describe $ENV_NAME

# Fetch Kubernetes credentials for that cluster
$ gcloud container cluster get-credentials $GKE_CLUSTER_NAME

获得 Kubernetes 凭据后，您可以将正在运行的 pod 和 SSH 列出到其中：

# List running pods
$ kubectl get pods

# SSH into a pod
$ kubectl exec -it $POD_NAME bash
airflow-worker-a93j$ ls /home/airflow

推荐阅读