java - Kafka Consumer 可以处理数百万的数据吗？在springboot中实现kafka消费者

Question

要求：

Producer 会将 500 万/天的数据推送到 kafka Topic。主题有（105个分区）

我的工作是我需要使用 spring-boot kafka 消费者代码消耗所有 500 万条数据，然后接下来我需要转换为域类并需要保存到 cosmos Db 中。

所以在这里我有一些问题有人可以给出答案。

1. 我需要使用多少个消费者来消费 5 百万条数据。
2. 我需要使用自动提交 true 还是需要在我消费消息后立即确认。
3. 请提供消费者配置，如轮询时间和每次轮询的消息。
4. 如果偏移量没有提交，我该如何解决。
5. 一个分区可以存储多少数据。
6. 如果我想实现手动确认，我该如何实现（任何示例代码）有人可以帮我吗

标签： javaspring-bootapache-kafkakafka-consumer-apispring-kafka