时间戳

首页 > 解决方案 > HBase Spark - 与 Spark 2.0 的连接

scala - HBase Spark - 与 Spark 2.0 的连接

问题描述

一直在尝试使用 Spark 和 Scala 将数据写入 HBase。要求是 - 我必须根据来自业务的列的时间戳设置 HBase 记录的 TTL。

我无法编译我的代码，详细信息如下。

  1. 为此，我正在使用 HBase Spark Alpha 4 连接器(hbase-spark-2.0.0-alpha4.jar)。
  2. 将列的时间戳值转换为 Epoch Timestamp 并尝试基于此设置 TTL。
  3. 当我尝试在 Spark Shell 中执行相同的代码时 - 它正在无缝执行并且我能够在 HBase 中看到预期的输出。
  4. 但是当我尝试在 Eclipse 中编译它时 - 它失败并出现以下错误。
[ERROR] error: missing or invalid dependency detected while loading class file 'HBaseContext.class'.    
[INFO] Could not access type Logging in package org.apache.spark,    
[INFO] because it (or its dependencies) are missing.

有人可以提供解决这个问题的意见吗？

标签： scalaapache-sparkhbase

解决方案

在我的情况下，我重新编译了连接器：https ://github.com/apache/hbase-connectors.git ，并使用基于我的项目的参数。就像：

mvn -Dspark.version=2.2.2 -Dscala.version=2.11.7 -Dscala.binary.version=2.11 clean install

没有错误。

提示：groupId 与 maven center repo 中的 groupId 不同

推荐阅读