apache-spark - Kafka 分区如何在 Spark 流中与 Kafka 共享？
问题描述
我想知道如何在执行程序进程内部运行的 SimpleConsumer 之间共享 Kafka 分区。我知道高级 Kafka 消费者如何在消费者组中的不同消费者之间共享分区。但是当 Spark 使用 Simple consumer 时会发生这种情况吗？跨机器的流式作业将有多个执行器。
解决方案
所有 Spark 执行器也应该属于同一个使用者组。Spark 为 Kafka 消费者使用大致相同的 Java API，只是将其分配到多台机器的调度
推荐阅读
- html - 如何使用 Selenium 循环并使用 OpenML 抓取几页数据？
- pywinauto - 使用 pywinauto 从组合框中选择一个项目
- python - 传递国家代码作为命令行参数输入
- php - php设置搞砸了
- php - 使用与 Ratchet 集成的 Eloquent 调用存储过程
- python - 在带有 flask-socketio 扩展的烧瓶应用程序上运行烧瓶命令
- token - 生成了不同的令牌，并且 hazelcast 服务器节点之一出局
- node.js - 如何通过NodeJS中的两个唯一字段对对象进行排序
- c - 使用 libevdev 读取多点触控
- sql-server - 如何使用 TSQL 从目录中删除文件？