时间戳

首页 > 解决方案 > apache spark phoenix 连接器不支持流式读取

apache-spark - apache spark phoenix 连接器不支持流式读取

问题描述

我们正在尝试读取 Apache spark Context 中的 phoenix 表数据。第一步，将数据加载到内存中，我们就可以做到了。现在，我们正在处理凤凰表中的实时数据。我们正计划流式传输我们正在读取的数据。

我们尝试使用下面提到的代码：-

  Dataset entityDataSet = spark.readStream()
   .format(dataFormat)
   .option("table", tablename)
   .option("zkUrl", clientUrl)
   .option("driver", driver)
   .load()
   .limit(fetchsize);

但是当我们在纱线集群模式甚至本地执行这个时，我们得到：

Caused by: org.springframework.beans.BeanInstantiationException: Failed to 
instantiate [void]: Factory method 'loadIntialPhoenixData' threw exception; 
nested exception is java.lang.UnsupportedOperationException: Data source 
org.apache.phoenix.spark does not support streamed reading
at org.springframework.beans.factory.support.SimpleInstantiationStrategy.instantiat e(SimpleInstantiationStrategy.java:185)
at org.springframework.beans.factory.support.ConstructorResolver.instantiate(ConstructorResolver.java:622)

有人对此有想法吗？任何指针都会有所帮助。

标签： apache-sparkapache-spark-sqlspark-streamingphoenix

解决方案

推荐阅读