时间戳

首页 > 解决方案 > Hadoop 作业返回异常“classNotFound”

java - Hadoop 作业返回异常“classNotFound”

问题描述

我正在尝试在 hadoop 上启动字数地图减少。当我要求 hadoop 完成这项工作时，它返回以下内容：

Exception in thread "main" java.lang.ClassNotFoundException: sdz.hadoop.wordcount.WordCountDriver
    at java.base/java.net.URLClassLoader.findClass(URLClassLoader.java:471)
    at java.base/java.lang.ClassLoader.loadClass(ClassLoader.java:588)
    at java.base/java.lang.ClassLoader.loadClass(ClassLoader.java:521)
    at java.base/java.lang.Class.forName0(Native Method)
    at java.base/java.lang.Class.forName(Class.java:398)
    at org.apache.hadoop.util.RunJar.run(RunJar.java:232)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:153)

这是输出：

 hadoop jar wordcount.jar sdz.hadoop.wordcount.WordCountDriver ../source.txt ../results

jar 文件如下所示：

$jar tf wordcount.jar 
META-INF/
META-INF/MANIFEST.MF
WordCountReducer.class
WordCountMapper.class
WordCountDriver.class

jar 文件已使用以下命令/输出生成：

$jar -cvf wordcount.jar .
added manifest
adding: WordCountReducer.class(in = 1720) (out= 723)(deflated 57%)
adding: WordCountMapper.class(in = 2347) (out= 936)(deflated 60%)
adding: WordCountDriver.class(in = 2278) (out= 1118)(deflated 50%)

这些类是从以下命令生成的：

javac -classpath $HADOOP_CLASSPATH WordCount*.java

java文件包含（我知道无用的导入）：

关于此的其他问题说要添加“job.setJarByClass(WordCountDriver.class);”。但我已经有了。那么我的错误是什么？

标签： javahadoop

解决方案

该作业将失败，因为它尝试（并且失败）在该位置的 jar 中找到您的类：

sdz/hadoop/wordcount/WordCountDriver.class

最快的解决方案是简单地从运行命令中删除包名（以及类本身中的任何包声明）：

hadoop jar wordcount.jar WordCountDriver ../source.txt ../results

一个更稳定的解决方案是让您的 jar 由 Maven 或 Gradle 等构建工具正确构建。

推荐阅读