时间戳

首页 > 解决方案 > 无法使用 Kafka（超过 1.3 MB）处理大消息？

python - 无法使用 Kafka（超过 1.3 MB）处理大消息？

问题描述

我点击链接如何使用 Kafka（超过 15MB）发送大消息？解决 kafka msg 限制问题。但没有运气

我尝试增加

A.) 在经纪人上：

message.max.bytes=15728640 
replica.fetch.max.bytes=15728640

B.) 在消费者方面：fetch.message.max.bytes=15728640

仍然面临同样的问题。无法使用特定主题上超过 1.3 MB 的数据

在我的应用程序中，从 python 代码发送的关于主题的消息并在节点服务器上使用。

标签： pythonnode.jsapache-kafka

解决方案

Kafka确实对数据的大小有严格的限制；默认为1MB. 我相信您错过了主题级别的配置。

不同级别有多个配置：

您有一个代理设置message.max.bytes（默认为 1000012）http://kafka.apache.org/documentation/#brokerconfigs

有一个主题级别的配置max.message.bytes（默认为 1000012） http://kafka.apache.org/documentation/#topicconfigs

Producer 有max.request.size（默认为 1048576） http://kafka.apache.org/documentation/#producerconfigs

消费者有max.partition.fetch.bytes（默认为 1048576） http://kafka.apache.org/documentation/#consumerconfigs

推荐阅读