docker - docker中的kafka-spark流式传输

Question

我是容器和 docker 系统领域的新手，缺乏经验。我想在 Kafka 中编写一个生产者/消费者，并使用 pyspark 设置一些流和 ETL。现在我很清楚所需的流程和技术背景。

我想知道的是，如果我只需要创建一个上述的小演示，并在 docker 中与我的学生共享文件，那么他们所要做的就是将它安装在他们的最后，看看它是如何工作的，是这样吗？甚至有可能？

标签： docker

Answer 1

您可以使用所需的部署创建一个简单的docker compose，并与学生共享 docker compose 工件。

此外，如果您未绑定到 Spark ，您可以查看WSO2 流处理器，它提供了一个交互式 UI 来编写流和 ETL 相关逻辑。