python - 使用自动检测将动态架构 JSON 文件加载到 BigQuery 表中
问题描述
这个问题与这个问题非常相似- 但使用了 python API,并且几年后 - 由于解决方案不完整,我认为最好打开一个新问题。
我有一堆 ndjson 文件,每天在 GCS 上生成,我想将它们加载到 BQ 表中。
来自以下几行的示例file_1.json
:
{"a": 1, "b": 2, "c": [1,2,4], "d": "string"}
{"a": 1, "c": [2, 4], "d": "some_string"}
{"a": 1, "e": 4}
示例 file_2.json
:
{"a": 4, "e": 6, "f": {"g": 7, "h": "str"}}
{"a": 1, "c": [2, 4], "f": {"g": 5}}
大多数字段是可选的,理论上每个文件中的每个文件记录都可以包含字段的任意组合(目前从大约 50 个选项中选择,但将来会改变和增长)。同名字段的内容应该(抛开任何错误)包含相同的数据类型。
我想将一组文件(某一天的所有文件)加载到一个 BQ 表中,该表的架构将由文件中所有字段的联合组成,其中一行没有对应于的键的 NULL 值一个领域。
我希望在没有需要维护的架构的情况下这样做。
我目前的尝试:
job_config = bigquery.LoadJobConfig(
write_disposition="WRITE_TRUNCATE",
create_disposition="CREATE_IF_NEEDED",
autodetect=True,
ignore_unknown_values=True,
schema_update_option="ALLOW_FIELD_ADDITION",
source_format="NEWLINE_DELIMITED_JSON"
)
uri = "gs://my-bucket/test/*.json"
load_job = client.load_table_from_uri(
uri,
table_id,
location="EU",
job_config=job_config,
)
load_job.result()
用于autodetect=True
避免显式指定架构,但由于自动检测从单个文件中扫描多达 500 行 - 某些字段可能不会首先创建。
我希望schema_update_option="ALLOW_FIELD_ADDITION"
(参考这里)会做我需要的,但它不起作用。
我尝试过的另一个选择:
# Instead of wildcard, get blob list and convert to uris
blobs = storage_client.get_bucket(BUCKET).list_blobs(prefix=FOLDER)
uris = [f"gs://{BUCKET}/{blob.name}" for blob in blobs if blob.name.endswith(".json")]
job_config = bigquery.LoadJobConfig(
write_disposition="WRITE_APPEND", #Will append file by file
create_disposition="CREATE_IF_NEEDED",
autodetect=True,
schema_update_option="ALLOW_FIELD_ADDITION",
source_format="NEWLINE_DELIMITED_JSON"
)
for uri in uris:
load_job = client.load_table_from_uri(
uri,
table_id,
location="EU",
job_config=job_config,
)
load_job.result()
我想这是效率较低 - 但不管它也不起作用 - 得到这个错误:
BadRequest: 400 Provided Schema does not match Table my-bucket:test.test_diff_schema. Cannot add fields (field: f)
再次,我想schema_update_option="ALLOW_FIELD_ADDITION"
会避免 - 但它似乎只适用于预定义的模式,而不是自动检测。
欢迎任何想法,提前谢谢!
解决方案
在自动检测中,BigQuery 读取了第一行并尝试检测架构。在第一次运行之后,架构已设置并且在整个摄取过程中无法更改。您可以使用“ignore_unknown_values”选项跳过与自动检测到的架构不匹配的值。
但它不会如你所愿。我知道 BigQuery 团队致力于更好的 JSON 集成。目前,我只能建议您将 JSON 作为字符串提取并使用 BigQuery JSON 函数来浏览文档。
推荐阅读
- .net - Xamarin Forms iOS NullReferenceException 导航回来
- mysql - 同一个表在 2 个条件下内连接一个表,并且任何一个条件有时都是错误的
- amazon-web-services - AWS Cognito InitiateAuth 通过 Lambda 函数导致错误
- r - rmarkdown - 绘制函数的中间结果
- c++ - 自定义 istream 结束迭代器
- gambas - 为什么在函数调用后我对变量进行调暗后,Gambas 会给我一个错误?
- node.js - Node.js 和 Wavesurfer.js
- c++ - 我的程序在第一个 do...while 循环中不断循环,即使条件不满足
- jquery - 从 Woocommerce 可变产品中获取当前选择的变体和数据
- python - 在 AWS Lambda 函数中进行 REST API 调用的标准方法是什么?