时间戳

首页 > 解决方案 > 异步批处理作业卡住了？

google-cloud-platform - 异步批处理作业卡住了？

问题描述

我们使用 Async Batch Jobs 已经有一段时间了，可以处理 PDF 文件，而无需先将它们转换为图像。这工作得很好，直到昨晚。创建工作后，工作似乎永远不会完成。我们的工作被卡住了 11 个小时，在取消工作后，我尝试了其他一些 PDF 工作，但它们都被卡住了。

我们将文件上传到 GCP 存储，使用 Feature_DOCUMENT_TEXT_DETECTION 启动 AsyncBatchAnnotateFilesRequest，然后我们使用 operation.Wait() 以便它每 45 秒检查一次作业状态以检查它是否已经完成。我们使用 Go 库来做到这一点。

任何其他人看到此问题或知道可能导致此问题的原因？

标签： google-cloud-platformgoogle-cloud-vision

解决方案

从昨晚开始，我就遇到了这种情况，猜测谷歌方面发生了一些变化。对我有用的是确保它输出到的目录/文件首先不存在。

Iterable<Blob> blobs = storage.list(outputBucketName,
    BlobListOption.prefix(outputFolderName.replaceAll("^[^/]*/", ""))).iterateAll();
for (Blob blob : blobs) {
    blob.delete(Blob.BlobSourceOption.generationMatch());
}

编辑：实际上也许它只是完全无关，谷歌没有提供细节，但说它现在不应该再被卡住了：

https://groups.google.com/forum/#!topic/cloud-vision-discuss/p0PbNQ2KMGg

推荐阅读