java - Spark:无法为平台加载本机 hadoop 库
问题描述
我正在尝试从 Spark 开始。我的库中有 Hadoop (3.3.1) 和 Spark (3.2.2)。我已将 SPARK_HOME、PATH、HADOOP_HOME 和 LD_LIBRARY_PATH 设置为它们各自的路径。我也在运行 JDK 17(echo 和 -version 在终端中工作正常)。
然而,我仍然收到以下错误:
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
21/10/25 17:17:07 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
java.lang.IllegalAccessError: class org.apache.spark.storage.StorageUtils$ (in unnamed module @0x1f508f09) cannot access class sun.nio.ch.DirectBuffer (in module java.base) because module java.base does not export sun.nio.ch to unnamed module @0x1f508f09
at org.apache.spark.storage.StorageUtils$.<init>(StorageUtils.scala:213)
at org.apache.spark.storage.StorageUtils$.<clinit>(StorageUtils.scala)
at org.apache.spark.storage.BlockManagerMasterEndpoint.<init>(BlockManagerMasterEndpoint.scala:110)
at org.apache.spark.SparkEnv$.$anonfun$create$9(SparkEnv.scala:348)
at org.apache.spark.SparkEnv$.registerOrLookupEndpoint$1(SparkEnv.scala:287)
at org.apache.spark.SparkEnv$.create(SparkEnv.scala:336)
at org.apache.spark.SparkEnv$.createDriverEnv(SparkEnv.scala:191)
at org.apache.spark.SparkContext.createSparkEnv(SparkContext.scala:277)
at org.apache.spark.SparkContext.<init>(SparkContext.scala:460)
at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2690)
at org.apache.spark.sql.SparkSession$Builder.$anonfun$getOrCreate$2(SparkSession.scala:949)
at scala.Option.getOrElse(Option.scala:189)
at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:943)
at org.apache.spark.repl.Main$.createSparkSession(Main.scala:106)
... 55 elided
<console>:14: error: not found: value spark
import spark.implicits._
^
<console>:14: error: not found: value spark
import spark.sql
^
Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ '_/
/___/ .__/\_,_/_/ /_/\_\ version 3.2.0
/_/
Using Scala version 2.12.15 (OpenJDK 64-Bit Server VM, Java 17.0.1)
Type in expressions to have them evaluated.
Type :help for more information.
任何想法如何解决这一问题?
解决方案
不支持 Java 17 - Spark 在 Java 8/11 上运行(来源:https ://spark.apache.org/docs/latest/ )。
所以安装 Java 11 并将 Spark 指向它。
该警告unable to load native-hadoop library for platform
很常见,并不意味着有任何问题。
推荐阅读
- jquery - 将进度条添加到倒计时
- java - JavaFX 标签文本未显示
- php - 未定义的常量 PASSWORD_ARGON2I Laravel
- proxy - Testcafe Localhost 后面有问题吗?
- xamarin - 在iOS中的Xamarin.Forms中,长按进入键盘后面?
- arrays - 是否有任何标准不重复数组中的 json 键
- android - 在 MPAndroidChart 的某些情况下管理文本 PieChart
- php - 从 PHP 表单向 PayPal 提交订阅请求
- javascript - 在 javascript 中创建简单的倒计时
- react-native - 如何设置 createMaterialBottomTabNavigator 的样式?