apache-spark - 如何提交 python SnappyData 作业

Question

SnappyData 文档 (docs/programming_guide/using_the_spark_shell_and_spark-submit.md) 表明可以向 Spark（主默认端口 7077）提交一个可以使用 SnappyData 表的 python 程序：

$ ./bin/spark-submit --class io.snappydata.examples.AirlineDataSparkApp --master spark://masterhost:7077 --conf spark.snappydata.connection=locatorhost:clientPort $SNAPPY_HOME/examples/jars/quickstart.jar

我的问题：Spark 端口 7077 似乎没有在监听。是否必须手动配置？

（假设：我假设端口 7077 属于 SnappyData 自带的 Spark，而不是单独的 Spark 集群。）

标签： apache-sparksnappydata

Answer 1

是的，Snappy 数据服务器 JVM 不能在“内部”运行 Python。但是，您可以使用相同的节点来启动 Spark 主节点和工作节点——它们的重量非常轻。运行与用于运行 SnappyData“数据服务器”的节点并置的工作程序。请注意，作业（例如 Java、scala）是否在数据服务器中运行，它们是否需要类似的资源（CPU、内存）。