时间戳

首页 > 解决方案 > BigQuery：数组带有 WriteToBigQuery 的字段

google-bigquery - BigQuery：数组带有 WriteToBigQuery 的字段

问题描述

我正在用 Python 创建一个 Google Dataflow 模板：

query = "#standardSQL" +  """
SELECT
  Frame.Serial,
  Frame.Fecha,
  Frame.Longitud,
  Frame.Latitud,
  ARRAY_AGG (CONCAT (ID, '-', Valor) ORDER BY ID) AS Resumen
FROM <...>


TABLE_SCHEMA = 'Serial:STRING,Fecha:DATETIME,Longitud:STRING,Latitud:STRING,Resumen:STRING'

| 'Read from BQ' >> beam.io.Read(beam.io.BigQuerySource(query=query,dataset="xxx",use_standard_sql=True))

| 'Write transform to BigQuery' >> WriteToBigQuery('table',TABLE_SCHEMA)

问题

由于 Resumen 字段是一个数组，因此失败：

为非重复字段指定的数组。

我测试的

  1. 使用以下语句直接在 BigQuery UI 中创建表：

    CREATE TABLE test (Resumen ARRAY<STRING>)

    这行得通。该表是通过以下方式创建的：

    • 类型：string
    • 模式：Repeated

  2. 更改 TABLE_SCHEMA 并运行管道：

    TABLE_SCHEMA ='Serial:STRING,Fecha:DATETIME,Longitud:STRING,Latitud:STRING,Resumen:ARRAY<STRING>'

    出现错误：

    "Invalid value for: ARRAY\u003cSTRING\u003e is not a valid value".

应该如何TABLE_SCHEMA创建表并使用 with beam.io.WriteToBigQuery()？

标签： google-bigquerygoogle-cloud-dataflowapache-beam

解决方案

如果您在单个字符串中指定 BQ 架构，则看起来不支持重复或嵌套字段：https ://beam.apache.org/documentation/io/built-in/google-bigquery/#creating-a-table-schema

您需要明确描述您的架构并将字段模式设置为repeated：https ://github.com/apache/beam/blob/master/sdks/python/apache_beam/examples/cookbook/bigquery_schema.py#L95

# A repeated field.
children_schema = bigquery.TableFieldSchema()
children_schema.name = 'children'
children_schema.type = 'string'
children_schema.mode = 'repeated'
table_schema.fields.append(children_schema)

推荐阅读