apache-kafka - 卡夫卡 - 特定消费者的错误 - 经纪人不可用
问题描述
我们在容器的集群中部署了多个 Kafka 消费者。除了一个发出警告“无法建立到节点 0 的连接。代理可能不可用”之外,所有的都正常工作,但是,这个错误只出现在其中一个容器中,并且这个消费者在同一个网络中运行和其他人的服务器。所以我已经排除了kafka服务器配置的问题。我尝试更改消费者的 groupid 并让它工作了几分钟,但现在再次出现警告。我从 bash shell 中消费了这个消费者使用的所有主题,我可以消费。考虑到上述情况,我认为这可能是由于消费者软件代码中的不良做法,也可能是偏移量受损。我如何确定是否有一些使用 kafka 日志的此类?
解决方案
您可以执行到容器中并 netcat 代理的广告地址以验证连接性。
您还可以像往常一样使用 Kafka shell 脚本来验证消费功能。
损坏的偏移量会阻止任何消费者阅读,而不仅仅是一个。错误的代码实践不会出现在日志中
如果您的容器“与其他服务器在同一台服务器上”运行,我建议使用关联规则和约束将您的应用程序分散到多个服务器上,然后再放置在同一台机器上
推荐阅读
- java - 上三角矩阵的零空间
- python-2.7 - 在函数装饰器中使用 pytest 夹具
- javascript - 我可以在控制台日志中看到来自 action(redux) 的道具,但无法在窗口上访问。给出类型错误:无法读取未定义的道具“休息”
- python - 使用 namedtuple 变量创建一个新列表,并在模拟运行时对其进行迭代?
- c# - StackLayout 内的 StackLayout 创建溢出
- arrays - 在 init.d 中循环一个函数
- c# - .net 核心 Web 应用程序并从 azure 事件中心读取数据
- android - 更改片段中的屏幕亮度
- r - 如何在将编号列相互耦合的同时从宽到长?
- javascript - 使用百分比计算减少对象数组