google-cloud-platform - 订阅 Google Pub/sub 主题到 Cloud Storage Avro 文件给我“超出配额”错误 - 在初学者教程中？

Question

我正在阅读 Google 的Firestore 到 BigQuery 管道教程，我已经进入第 10 步，我应该设置从我的主题导出到保存在云存储上的 avro 文件。

但是，当我尝试运行作业时，在完全按照教程中提到的操作完成后，我收到一条错误消息，告诉我我的项目没有足够的配额来执行工作流。在消息的配额摘要中，我注意到它说1230/818 disk GB. 这是否意味着该作业需要 1230 GB 磁盘空间？目前，Firestore 中只有 100 个文档？这对我来说似乎是错误的？

我所有的云存储桶都是空的：

但是，当我查看我在第 9 页设置的第一个导出作业（Pubsub Topic to BigQuery）中使用的资源时，我更加困惑。

似乎它正在使用疯狂数量的资源

Current vCPUs   
4
Total vCPU time     
2.511 vCPU hr
Current memory  
15 GB
Total memory time   
9.417 GB hr
Current PD  
1.2 TB
Total PD time   
772.181 GB hr
Current SSD PD  
0 B
Total SSD PD time   
0 GB hr

这是真的吗，还是我做错了什么，因为所有这些资源都被使用了？我的意思是，根本没有任何活动，只是订阅，对吧？

标签： google-cloud-platformgoogle-bigquerygoogle-cloud-dataflowgoogle-cloud-pubsub

Answer 1

在后台，该步骤是调用 Cloud Dataflow 模板（确切地说是这个模板）从 Pub/Sub 读取并写入 GCS。反过来，Cloud Dataflow 将 GCE 实例 (VM) 用于其工作池。Cloud Dataflow 请求的资源过多（需要磁盘、内存、vCPU 等的 GCE 实例）并且正在达到您项目的限制/配额。

您可以在optional parameters. 这也应该为您节省一些钱。奖金！