java - Spark / Hdfs / Hdfs-客户端兼容性

Question

我正在运行基于 hdfs 集群的 hdfs 版本 2.9.1。Spark（针对 hdfs 客户端 2.9.1 构建）和使用 hdfs-client 2.9.1 的独立 scala/java 程序使用此集群。

我想逐步将设置升级到 hdfs 3 。没有破坏太多。我还没有找到关于 hdfs 服务器和 hdfs 客户端之间兼容性的平易近人的指南。

是否可以先升级 hdfs 客户端，然后再升级 hdfs 文件系统？还是反过来？

标签： javascalaapache-sparkhdfs

Answer 1

这取决于您使用的 API。Hadoop 类和接口被分类为1，带有注释，或者Stable, Evolving, Unstable, Deprecated。

StableAPI 可以安全使用，因为预计在 Hadoop 4.0.0 2之前它不会被删除。