时间戳

首页 > 解决方案 > 使用配置文件为气流创建 bigquery 连接

google-bigquery - 使用配置文件为气流创建 bigquery 连接

问题描述

我正在尝试创建 bigquery 连接。以下配置存在于 yml 文件中

  gcp-conn:
    conn_type: google_cloud_platform
    conn_extra: '{ "extra__google_cloud_platform__key_path":"/usr/local/airflow/key.json", "extra__google_cloud_platform__project": "<project_name>", "extra__google_cloud_platform__scope": "https://www.googleapis.com/auth/cloud-platform"}'

命令：inv create-airflow-connections --env-file <yml_file>

连接已创建，但当我从 UI 浏览它时，会导致我进入一个错误页面：

错误：文件“/usr/local/lib/python3.6/site-packages/airflow/www/views.py”，第 3054 行，on_form_prefill value = d.get(field, '') AttributeError: 'str' object没有属性'get'

知道为什么会这样吗？

标签： google-bigqueryairflow

解决方案

我相信它想要类似的东西

    - conn_id: bigquery-warehouse
      conn_type: google_cloud_platform
      conn_extra:
        extra__google_cloud_platform__project: "my_google_cloud_project_id"
        extra__google_cloud_platform__key_path: "usr/local/airflow/service-account.json"
        extra__google_cloud_platform__scope: "https://www.googleapis.com/auth/cloud-platform,https://www.googleapis.com/auth/drive"
    - conn_id: google_cloud_default
      conn_type: google_cloud_platform
      conn_extra:
        extra__google_cloud_platform__project: "my_google_cloud_project_id"
        extra__google_cloud_platform__key_path: "usr/local/airflow/service-account.json"

推荐阅读