时间戳

首页 > 解决方案 > bigquery 从 json 定义创建表给出了 STORAGE_FORMAT_UNSPECIFIED 错误

json - bigquery 从 json 定义创建表给出了 STORAGE_FORMAT_UNSPECIFIED 错误

问题描述

我想通过克隆现有表的架构来创建表，通过添加一些列来编辑它，重命名其他列。

我所做的是：

找到要克隆的表的模式：

bq show --format=json $dataset.$from_table | jq -c .schema

用一些脚本编辑它，保存为文件，例如 schema.json（这里简化）：

模式.json

{"fields":[{"mode":"NULLABLE","name":"project_name","type":"STRING"},
{"mode":"NULLABLE","name":"sample_name","type":"STRING"}]}

然后尝试使用以下命令创建新表：

bq mk --table --external_table_definition=schema.json test- 
project1:dataset1.table_v1_2_2

但我收到此错误：

mk 操作中的 BigQuery 错误：外部数据的存储格式不受支持：STORAGE_FORMAT_UNSPECIFIED

我只是希望这是我在系统中拥有的另一个相同类型的表，我相信它是位置“Google Cloud BigQuery”。

有任何想法吗？

标签： jsongoogle-bigquery

解决方案

问题是您正在使用该external_table_definition标志，例如，仅当您在 GCS 或 Drive 上的文件上创建外部表时才相关。创建新表的一种更简单的方法是使用 CREATE TABLE ... AS SELECT ... 语句。例如，假设我有一个T1包含列和类型的表

foo: INT64
bar: STRING
baz: BOOL

我想创建一个新表来重命名bar和更改其类型，并添加一个名为id. 我可以运行这样的查询：

CREATE TABLE dataset.T2 AS
SELECT
  foo,
  CAST(bar AS TIMESTAMP) AS fizz,
  baz,
  GENERATE_UUID() AS id
FROM dataset.T1

如果您只想克隆和更新架构而不产生任何成本或复制数据，您可以使用LIMIT 0，例如：

CREATE TABLE dataset.T2 AS
SELECT
  foo,
  CAST(bar AS TIMESTAMP) AS fizz,
  baz,
  GENERATE_UUID() AS id
FROM dataset.T1
LIMIT 0

现在，您将拥有一个具有所需架构的新空表。

推荐阅读