java - 如何检查 hadoop-common.jar 和 hadoop-aws.jar 是否同步？

Question

我为 spark2.2.1 新安装了 hadoop2.8。spark java.lang.NumberFormatException: For input string: "100M"当我进入 pyspark 时它会抛出。

我正在关注这个问题以获得我的解决方案。

附加信息：我正在尝试使用 AWS ARN 角色创建 Spark 会话，以使 Spark 可以通过 AWS 中的Assume 角色功能访问不同的数据源。

编辑：为 spark2.2.1 安装了 hadoop2.8；以前默认使用 hadoop2.7，但它不支持用于 spark 会话的 aws 角色。

标签： javaamazon-web-servicesapache-sparkhadooppyspark