python - pyspark 未连接到本地 cassandra
问题描述
我正在尝试使用 pyspark 从 cassandra 表中读取数据。我使用的代码如下所示
import pandas as pd
import numpy as np
from pyspark import *
import os
from pyspark.sql import SQLContext
os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages com.datastax.spark:spark-cassandra-connector_2.12:3.0.0 --conf spark.cassandra.connection.host=127.0.0.1 pyspark-shell'
conf = SparkConf().set("spark.cassandra.connection.host", "127.0.0.1").set("spark.cassandra.connection.port", "9042").setAppName("Sentinel").setMaster("spark://Suraj-Vashistha-Laptop:7077")
sc = SparkContext(conf=conf)
sqlContext = SQLContext(sc)
table_df = sqlContext.read\
.format("org.apache.spark.sql.cassandra")\
.options(table='movies', keyspace='practice')\
.load()
我什至使用了 spark-cassandra-connector 版本 3.0.0 ,python 3
Spark 已启动并运行,如下所示:
因此,如上所示,有一个 spark 实例已初始化并且处于等待状态。它在默认 localhost:8080 中运行
Cassandra 也在 localhost:9042 上运行
所以两者都在本地机器上。尽管如此,我仍然无法连接和运行代码。我收到以下错误:
Py4JJavaError: An error occurred while calling o36.load.
: java.io.IOException: Failed to open native connection to Cassandra at {127.0.0.1:9042} :: Could not reach any contact point, make sure you've provided valid addresses
关于堆栈溢出也有类似的问题,但它们都是 2 或 3 岁以上,而且没有一个答案对我有用。因此,我再次要求这个新的视角。
我的 cassandra 版本详细信息是 [cqlsh 6.0.0 | 卡桑德拉 4.0 | CQL 规范 3.4.5 | 本机协议 v5]
我只保留了最新版本的所有内容。
所以,我无法弄清楚出了什么问题,因为一切似乎都在运行,但错误说无法到达任何联系点。什么地方出了错??
编辑:我最近能够使用完全相同的代码并连接到托管在不同 IP(10.160.0.2)上的 cassandra 数据库,但对于 localhost 它不起作用。
EDIT2:我在 spark-shell 上逐行执行相同的代码(我有 localhost 而不是第一个编辑 IP 的代码)。我将它作为 spark-shell --packages datastax的 cassandra 连接器启动。因此,我观察到在到达 .load() 或 .show() 或 .first() 之前一切正常。我可以做以下
val conf = new SparkConf(true).set("spark.cassandra.connection.host", cassandraHost)
val sc = new SparkContext("spark://" + sparkMasterHost + ":7077", "example", conf)
val rdd = sc.cassandraTable(keyspace, table)
此时输出(我放在下一行)是一个创建的对象,到目前为止没有发现错误
rdd: com.datastax.spark.connector.rdd.CassandraTableScanRDD[com.datastax.spark.connector.CassandraRow] = CassandraTableScanRDD[0] at RDD at CassandraRDD.scala:18
当我尝试执行 rdd.show() 或 rdd.first() 或 rdd.collect() 时,接下来会出现问题。而且我得到了我在上面的问题中发布的相同错误(无法打开本机连接,无法到达任何联系点)。
解决方案
此异常表明您很可能遇到网络连接问题:
java.io.IOException: Failed to open native connection to Cassandra at {127.0.0.1:9042} :: \
Could not reach any contact point, make sure you've provided valid addresses
您的 pyspark 应用程序无法连接到localhost
端口9042
。检查您是否没有阻止访问 Cassandra 节点的软件iptables
防火墙firewalld
。
要检查的另一件事是您为rpc_address
. 作为测试的替代方法,将 RPC 地址设置为笔记本电脑的 IP 并重新启动 Cassandra。然后spark.cassandra.connection.host
在你的 pyspark 配置中设置你的笔记本电脑的 IP,看看它是否有效。
作为旁注,您在第二次编辑中说明了这一点:
我将它作为 spark-shell --packages datastax 的 cassandra 连接器启动。因此,我观察到在到达 .load() 或 .show() 或 .first() 之前一切正常。
这样做的原因是 Spark 中的评估是惰性的——在您调用操作之前不会执行任何操作。在调用类似的操作之前,您不会看到任何错误,collect()
因为在您的代码中没有执行任何操作。干杯!
推荐阅读
- java - 使用另一个列表对列表进行排序。根据第二个列表交换项目
- web-applications - 如何提供 .mbtiles(矢量图块)并在 Web 应用程序中使用它们?
- android-recyclerview - 使用改造加载更多项目的 Recyclerview
- c++ - 使用另一个模板类的嵌套名称说明符专门化一个模板类
- python - 在使用 xarray 的 netCDF 文件上使用 Prophet
- typescript - 使用枚举作为泛型类型
- android - 如何使用正确的方法添加启动画面
- python - 使用 python selenium 抓取 HTML 表格
- macos - Mac OS 10.14.4 安装卡在 2014 年末的 Mac mini 中
- javascript - 过滤器从反应数组中删除一个元素