时间戳

首页 > 解决方案 > 未找到 hbase spark 模块

maven - 未找到 hbase spark 模块

问题描述

我正在尝试从 spark 访问 hbase。

spark = (
    SparkSession.builder.master("yarn")
    .appName(app_name)
    .config("spark.jars.packages", "org.apache.hbase:hbase-spark:1.2.0-cdh5.16.2")
    .getOrCreate()
)

但我得到错误：

未找到模块：org.apache.hbase#hbase-spark;1.2.0-cdh5.16.2

该页面存在于 maven 上：https ://mvnrepository.com/artifact/org.apache.hbase/hbase-spark/1.2.0-cdh5.16.2

可能是什么问题 ？

标签： mavenapache-sparkhbase

解决方案

正如这个页面所说：

这个工件位于 Cloudera 存储库 ( https://repository.cloudera.com/artifactory/cloudera-repos/ )

而 Spark 默认情况下，仅从 Maven Central 和 Spark Packages 存储库解析。

您需要--repositories在命令行中传递此 URL，或者在通过spark.jars.ivySettings设置传递的 Ivy 配置文件中指定它。有关详细信息，请参阅Spark 文档。

推荐阅读