google-bigquery - BQ LoadJobConfiguration Parquet 问题

Question

我们有一个 Java 代码，它从 GCS 读取 parquet 文件并使用 LoadJobConfiguration 写入 BQ。我注意到当您在其中包含数组时，文件的架构会发生变化。

TableId tableId = TableId.of(bqProjectID, datasetName, tableName);
LoadJobConfiguration configuration =
                    LoadJobConfiguration.builder(tableId, sourceUri)
                            .setFormatOptions(FormatOptions.parquet())
                            .build();
Job job = bigquery.create(JobInfo.of(configuration));

如果您看到下面的屏幕截图，则 documentPurposes modeType 以 Nullable 的形式出现，并且添加了另一个嵌套结构，即数组。我期待 documentPurposes 的模式类型为 REPEATED。

标签： google-bigquery