python - Apache Kafka(v2.4.0) - Python 中的 Spark (v2.4.4) 流式集成

Question

所以我在不同的 ubuntu 机器上安装了Apache Spark 2.4.4和 Kafka_2.12-2.4.0 。我想从 IOT 设备中获取所有数据，输入 kafka，然后使用 spark-streaming，输入 spark。我想在 python 中完成这一切。根据此链接：https ://spark.apache.org/docs/2.4.4/streaming-kafka-integration.html 由于我的 Kafka 版本超过 0.10，我不能使用 python，因为没有显示示例Python。是这样吗？或者是否有任何可能的方法来仅使用 python 进行集成？

标签： pythonapache-sparkapache-kafkaspark-structured-streaming

Answer 1

没有为python显示示例

这并不意味着它不可能。

spark.readStream().format("kafka").option(...)仍然适用于 Python，您可以在其他地方搜索大量“结构化流 Python”示例