时间戳

首页 > 解决方案 > 如何提高 Clickhouse Kafka 消费者的性能

olap - 如何提高 Clickhouse Kafka 消费者的性能

问题描述

我有一个 9 个分区的 Kafka 主题，即使我使用 9 个消费者，并且将流间隔设置为 1 秒，我仍然看不到机器的资源付出太多努力，CPU 甚至低于 10%（对于 8 核， 16GB AMI）。

我应该尝试修改任何其他属性吗？提前致谢。

标签： olapclickhouse

解决方案

我发现了问题的根源、流式轮询超时和刷新间隔。

一旦我将以下内容添加到 users.xml 并重新启动，摄取率显着增加

 <stream_poll_timeout_ms>5000</stream_poll_timeout_ms>
        <stream_flush_interval_ms>1500</stream_flush_interval_ms>
        <max_streams_to_max_threads_ratio>4</max_streams_to_max_threads_ratio>

推荐阅读