时间戳

首页 > 解决方案 > 编辑 GCP 存储桶中的多个文件

google-cloud-platform - 编辑 GCP 存储桶中的多个文件

问题描述

我需要导出到 BigQuery 的 GCS 存储桶中有多个 JSON 文件。

它们不是换行符分隔的我需要编辑文件，并且我希望使用云外壳来大规模执行此操作，因为这样的数据转储会经常发生。

我在想它应该是类似的东西

gsutil cat gs://triad_data/file_testing/Appointment.json | jq -c '.[]' > apptNDJSON.json

但我不知道如何为我的存储桶中的所有物品输送这个。这是正确的思路还是在 GCP 中不可能进行这样的操作？

标签： google-cloud-platformgoogle-cloud-storagegsutil

解决方案

云存储不是文件系统。您只能写入、删除和读取。没有更新，没有动静。您可以激活版本控制以创建新版本，但不能直接更新 GCS 上的现有 blob。

在 GCS 上，特别是使用 gsutil，命令“gsutil cat”用于将对象内容连接到标准输出，换句话说，在控制台上显示文件的内容。

与您要查找的内容更相似的命令是“gsutil compose”，但这会将 File_A 和 File_B 的内容连接到一个新的 File_C 中，这不是您要查找的内容。

您需要对应用程序进行编码以下载文件编辑内容然后再次上传文件或类似的东西

推荐阅读