java - 如何在没有 Hadoop 的情况下运行 Apache Crunch 应用程序？

Question

我听说 Apache Crunch 是一个门面，它可以在没有 Hadoop 的情况下运行应用程序。这是真的？

如果是，那么该怎么做？

在Apache Crunch Getting Started中，第一个示例包括 hadoop 命令：

$ hadoop jar target/crunch-demo-1.0-SNAPSHOT-job.jar <in> <out>

可以省略hadoop吗？

标签： javahadoopapache-crunch

Answer 1

也许您误解了您不需要 Hadoop集群。Hive、Pig、Spark 都可以在本地运行，也可以在 HDFS 以外的文件系统上运行。

根据我对库的了解，您确实需要 Hadoop API（这hadoop jar将为您加载）。

换句话说，您可以将输入和输出目录设置为本地file://路径来绕过需要 HDFS。

您可以export CLASSPATH自己包含 Hadoop 库，并运行java jar运行 JAR