时间戳

首页 > 解决方案 > 无法让 clickhouse 使用 Azure 事件中心消息

clickhouse - 无法让 clickhouse 使用 Azure 事件中心消息

问题描述

我正在尝试使用 clickhouse kafka 引擎来使用来自 Azure Eventhub 的消息（它支持相同的 kafka 协议 1.0 或更高版本）。但它没有用。

这是我所做的，

1.在clickhouse config.xml中配置kafka设置

`<kafka>
    <security_protocol>sasl_plaintext</security_protocol>
    <sasl_mechanism>PLAIN</sasl_mechanism>
    <sasl_username>$ConnectionString</sasl_username>
    <sasl_password>{Token}</sasl_password>
    <debug>all</debug>
    <auto_offset_reset>latest</auto_offset_reset>
</kafka>`

2.设置kafka引擎表使用Azure Event Hub命名空间

  CREATE TABLE queue (
    timestamp UInt64,
    level String,
    message String
  ) ENGINE = Kafka('{NameSpace}.servicebus.windows.net:9093', '{TopicName}', '$Default', 'CSV');

3.向事件中心发送消息。

  1. 查询 kafka 引擎表，但返回 0 行。
SELECT * FROM queue
/* Ok.
0 rows in set. Elapsed: 15.014 sec. */

这是 clickhouse 服务器日志。

2020.07.20 22:32:23.721576 [ 98101 ] {c3486e06-083b-4387-a563-4ff7d488ac39} <Trace> StorageKafka (queue): Can't get assignment

2020.07.20 22:32:23.721916 [ 98101 ] {c3486e06-083b-4387-a563-4ff7d488ac39} <Trace> StorageKafka (queue): Nothing to commit.

2020.07.20 22:32:23.722445 [ 98110 ] {c3486e06-083b-4387-a563-4ff7d488ac39} <Debug> MemoryTracker: Peak memory usage (for query): 0.00 B.

日志说无法获得分配。有没有人尝试过事件中心，可能缺少的步骤是什么？

标签： clickhouse

解决方案

推荐阅读