时间戳

首页 > 解决方案 > 为什么当 Maven 构建工作良好但将 Spark Jar 添加为外部 Jars 时会出现编译错误“对象 Apache 不是包 org 的成员”

eclipse - 为什么当 Maven 构建工作良好但将 Spark Jar 添加为外部 Jars 时会出现编译错误“对象 Apache 不是包 org 的成员”

问题描述

在 Eclipse 上，在设置 spark 时，即使在添加外部 jar 来构建路径之后spark-2.4.3-bin-hadoop2.7/jars/<_all.jar>，编译器也会抱怨““object apache is not a member of package org''

是的，通过 Maven 或 SBT 构建依赖项可以解决它。问一个问题 scalac compile 产生“object apache is not a member of package org”

但这里的问题是，为什么传统方式会这样失败？

标签： eclipsescalamavenapache-sparkhadoop

解决方案

如果我们在这里引用，Scala/Spark 版本兼容性我们可以看到类似的问题。问题是Scala 不向后兼容。因此，每个 Spark 模块都针对特定的 Scala 库进行编译。但是当我们从 eclipse 运行时，eclipse Scala 环境可能与我们设置了 Spark 库的特定 scala 版本不兼容。

推荐阅读