时间戳

首页 > 解决方案 > 如何配置 DSE Spark 以进行远程调试

datastax - 如何配置 DSE Spark 以进行远程调试

问题描述

我正在使用 DataStax 并尝试配置 Spark 以进行远程调试。

我已按照以下步骤操作：a）转到 dse-5.1/resources/spark/conf/dse-spark-env.sh b）添加以下代码段，以便 spark 驱动程序以调试模式启动

export SPARK_SUBMIT_OPTS="-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=4000 "

但火花并没有在调试中启动更多。请建议要遵循的链接/步骤。

$ netstat -na | grep "7080"

tcp        0      0 0.0.0.0:7080            0.0.0.0:*               LISTEN

$netstat -na | grep "4000"

$

标签： datastaxdatastax-enterprisedatastax-java-driver

解决方案

Spark 应用程序由驱动程序和执行器数量组成，您应该为它们使用不同的选项： 调试 Spark 应用程序

为了简化事情，您可以在本地模式下运行应用程序。驱动程序和执行程序都将只有一个 JVM。这是 DSE 示例：

dse spark --master local[1] --driver-java-options -agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=4000

推荐阅读