scala - HBaseTableCatalog.tableCatalog 显示错误 - Symbol 'term类路径中缺少 .yetus.audience'。如何解决这个问题？

Question

我的输入是HBase表格。首先我正在加载数据和函数withCatalog将返回Dataframe。

def withCatalog(cat: String): DataFrame = {
  sqlContext
    .read
    .options(Map(HBaseTableCatalog.tableCatalog -> cat))
    .format("org.apache.hadoop.hbase.spark")
    .load()
}
val allrulesDF = withCatalog("personDb:employeeTable")
allrulesDF.show()

HBaseTableCatalog显示以下错误的行

• 符号term <none>.yetus.audience中缺少classpath.此符号 是必需的<none>。确保术语受众在您的类路径中，并检查与-Ylog-classpath. 如果HBaseTableCatalog.class针对不兼容的<none>.yetus.

• 类路径中缺少符号term org.apache.yetus。需要此符号<none>。确保该术语 Yetus 在您的类路径中，并检查与-Ylog-classpath. 如果HBaseTableCatalog.class针对不兼容的org.apache.

标签： scalaapache-sparkapache-spark-sqlhbase

Answer 1

这是由于 spark 无法加载 hbase jar。

如果你使用 hbase2.1+，你可以在 path 中找到 jar like audience-annotations-*.jar 等等$HBASE_HOME/lib/client-facing-thirdparty。

并将这些罐子移动到火花罐路径。