apache-kafka - 如何修复“分区上的 Kafka 偏移提交失败:请求超时”
问题描述
我突然在生产 Kafka 中遇到类型异常
ERROR[pool-XX-thread-YY] org.apache.kafka.clients.consumer.internals.ConsumerCoordinator - [Consumer clientId=someclientid, groupId=somegroup] Offset commit failed on partition SomeTopic-SomePartition at offset SomeOffset: The request timed out.
这从许多不同的服务(客户端)(不同的线程\不同的主题\不同的分区)发生了 3.5 秒,而不仅仅是自我修复......对于所有这些客户端,偏移提交配置是 5 秒自动提交。
无法从 kafka 代理日志中跟踪任何内容,除了一组的重新平衡权(10 个有该问题),这在心跳失败时是正常的,在指标服务器中,我可以看到一些提交延迟的峰值,即我猜的症状和 1 个代理上的一些 TCP 峰值(共 3 个)
我怎样才能开始调查它?什么会导致这样的问题?当这样的事情发生时,我应该去哪里看?
在此处附上一些图表的照片:
解决方案
推荐阅读
- sql - 如何将行转置为列,它将变成只有一行?
- python - Python中的Sqlite3不获取数据
- authentication - AWS Cognito - 如何让 idToken 永远活着?
- javascript - 如何映射这些数据?错误说'无法读取未定义的属性'地图'
- scala - 在 Spark scala 数据框中,我如何根据周数获取周结束日期
- api - "@context": "/api/contexts/Error" + 我的 apiplateform 中的错误 500
- node.js - 如何在 Sinon 中存根所需的函数?
- pandas - 用熊猫创建嵌套对象
- c# - C# 比特币地址验证 [Legacy, Nested SegWit, Native SegWit] | 离线
- java - 当数据库不为空时,我从 findAll Spring 数据和 h2 数据库中获取空列表