api - 从 cassandra 加载数据到 flink
问题描述
我如何使用 java 或 python 中的 flink 从 cassandra 读取数据。我没有找到关于这个主题的好的文档。我想将此代码连接到我的网站。那是怎么回事。
我有这个代码,但它运行异常
java.lang.NoClassDefFoundError: org/apache/flink/api/common/typeinfo/TypeHint
at java.lang.Class.getDeclaredMethods0(Native Method)
at java.lang.Class.privateGetDeclaredMethods(Class.java:2701)
at java.lang.Class.privateGetMethodRecursive(Class.java:3048)
at java.lang.Class.getMethod0(Class.java:3018)
at java.lang.Class.getMethod(Class.java:1784)
at sun.launcher.LauncherHelper.validateMainClass(LauncherHelper.java:544)
at sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:526)
Caused by: java.lang.ClassNotFoundException: org.apache.flink.api.common.typeinfo.TypeHint
at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
import com.datastax.driver.core.Cluster;
import org.apache.flink.api.common.typeinfo.TypeHint;
import org.apache.flink.api.java.DataSet;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.tuple.Tuple5;
import org.apache.flink.api.java.typeutils.TupleTypeInfo;
import org.apache.flink.batch.connectors.cassandra.CassandraInputFormat;
import org.apache.flink.streaming.connectors.cassandra.ClusterBuilder;
public class main {
public static void main(String[] args) {
final ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
ClusterBuilder clusterBuilder = new ClusterBuilder() {
@Override
public Cluster buildCluster(Cluster.Builder builder) {
return builder.addContactPoint("127.0.0.1").withPort(9042).build();
}
};
DataSet<Tuple5<String,String,String,Integer,String>> inputRecords = env
.createInput
(new CassandraInputFormat<Tuple5<String,String,String,Integer,String>>("Select profilealternative from profiles.profile LIMIT 1 ;",clusterBuilder)
,TupleTypeInfo.of(new TypeHint<Tuple5<String,String,String,Integer,String>>() {}));
}
}
解决方案
问题的主要原因是ClassNotFoundException
- 这意味着您的应用程序没有链接所有必需的库来创建 uberjar,或者类路径中缺少相应的库。
推荐阅读
- unity3d - ArgumentException:SceneManager.SetActiveScene 失败
- java - 在不同的方法(同一类)上访问 ArrayList
- android - Android Studio:缩放 ImageView 边界以适应图像
- mysql - 在同一台机器上安装多个 MySQL 集群 - CentOS 7
- wordpress - 没有得到插件中制作的模板内容
- java - Kafka 连接自定义转换以将无模式 Json 转换为 Avro
- javascript - ReferenceError:找不到变量 Safari
- reactjs - npm 错误!依赖“@babel/core”的对象为空
- javascript - 如何在 Handsontable 中使用钩子。我需要在粘贴前检查数据
- node.js - 在 MEAN 应用程序中实现实时通知的最佳方式是什么?