首页 > 解决方案 > Spark3-submit 继续运行而不返回任何错误或结果

问题描述

我试图使用 spark3 和 python 运行一个简单的数据流。按照此指南链接,该命令不会返回任何错误或结果。但我不确定在哪里可以看到日志,或者我的 spark3 是否正在流式传输。

我用于终端 1 的命令:

[root@centos7 ~]# nc -lk 9999
test
test2
test3
hello

终端 2 中的命令:

bin/spark3-submit PATH/spark3/examples/src/main/python/streaming/network_wordcount.py IP-Address 9999

终端 2 上的结果:

同样的结果不断循环。但我在控制台中看不到任何错误或任何成功结果。

在此处输入图像描述

Spark UI 中的结果:

在此处输入图像描述

标签: apache-kafkaspark-streamingspark3

解决方案


推荐阅读