python - Kafka 阅读主题——从头开始
问题描述
我有一个带有 3 个代理和 3 个动物园的 Kafka 集群。使用 1 个分区和 3 个复制因子创建的主题。当我尝试使用 --partition 从主题中读取时 - 没关系。
./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic my_topic --offset 0 --partition 0
但是当我尝试从头开始阅读时
./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic my_topic --from-beginning
没有任何输出
Kafka version ./kafka-topics.sh --version 2.5.0 (Commit:66563e712b0b9f84)
你能帮我理解也许我错过了一些配置属性,以及我如何阅读--from-beginning?
在我的 Python 代码中也是如此:
from kafka import TopicPartition, KafkaConsumer
consumer = KafkaConsumer(auto_offset_reset='smallest', bootstrap_servers='my_server:9092')
**consumer.assign([TopicPartition('my_topic', 0)])**
msg = next(consumer)
for msg in consumer:
print (msg)
它仅在我显示分区 0 时才有效
**consumer.assign([TopicPartition('my_topic', 0)])**
解决方案
推荐阅读
- linux - EC2 实例的私有 IP
- python - 尽管在 128G 系统上增加了 xmx,Pycharm 仍抛出“内存错误”
- php - 如何将数组作为 oop 中的参数传递给 bind_param 方法
- ruby - 根据命名空间前缀删除 nokogiri 属性
- c++ - 这是参数还是类型?
- python - Appending a Dataframe with a Row from Another that Has Most But Not All of Same Columns
- php - AJAX Data Variables not being read by php file
- kubernetes - Using GKE service account credentials with kubectl
- sql - SQL Query 在 group by/aggregate 中不返回空值?
- excel - 带有额外字符的 CSV 行