时间戳

首页 > 解决方案 > Azure Flink 中 src 文件系统上的资源已更改

azure - Azure Flink 中 src 文件系统上的资源已更改

问题描述

在 Azure HDInsights 集群上设置 flink 时出现异常。

./bin/yarn-session.sh -n 4 -jm 1024m -tm 4096m

抛出：

org.apache.flink.client.deployment.ClusterDeploymentException: 
Couldn't deploy Yarn session cluster

Caused by: 

Failing this attempt.Diagnostics: 
[2018-10-24 00:41:17.703]Resource wasb://../.flink/application_1539730571763_0057/
application_1539730571763_0057-flink-conf.yaml8158650202504017094.tmp 
changed on src filesystem (expected 1540341676000, was 1540341677000

java.io.IOException: 
    at org.apache.hadoop.yarn.util.FSDownload.verifyAndCopy(FSDownload.java:273)

这似乎是因为 wasb blob 存储没有保留复制文件的原始时间戳，从而破坏了 wasb 之上的 HDFS API 抽象。有什么解决方法吗？

我能找到的唯一其他线程是Oozie/yarn: resource changed on src filesystem。

标签： azureapache-flink

解决方案

我们与 MS Azure 支持合作，他们确认它仅适用于 Flink 1.4.x 而不是 1.5.x 或 1.6.x。

我们将它降级到 1.4.x，它现在在 Azure 集群中运行良好。

推荐阅读