amazon-s3 - EMR S3：FileDeletedInMetadataNotFoundException：文件在元数据中被标记为已删除

我尝试运行一个 hadoop 作业，该作业在 S3 上创建、复制、删除文件，并在需要时从 S3 读取这些文件。

我的工作因以下异常而间歇性失败，我正在寻找永久修复或解决方法。例外是：

引起：com.amazon.ws.emr.hadoop.fs.consistency.exception.FileDeletedInMetadataNotFoundException：文件''在元数据中被标记为已删除

当我emrfs diff在作业失败后在外部运行命令时，输出的MANIFEST_ONLY文件为红色。

然后我运行emrfs sync删除这些文件的命令，然后我的作业运行没有错误。

我不想在作业失败后进行调试，因为这对我来说是不可接受的。此外，我不希望任何人工干预来确保我的工作无缝运行。

我的工作本身创建、复制、删除文件，然后无法读取它，这似乎令人困惑，我无法在文档中找到任何解决方案。

将不胜感激所有相关的建议。

标签： amazon-s3amazon-emr