elasticsearch - 使用 Kafka Connect 单消息转换器制作时间戳

Question

我正在将数据从 Kafka 移动到 Elasticsearch，并使用 Kafka 连接 SMT，更具体地说TimeStampConverter。我摆弄了一些它，但无法让它输出时间戳格式。

当我使用“日期”、“时间”或“时间戳”类型作为值时，transforms.TimestampConverter.target.type我无法将数据输入 Elasticsearch。直到我在那里设置值“字符串”，它才会将值作为日期数据类型输出到弹性搜索中。不幸的是，这意味着我只能通过一天的准确性来获得价值。

这是变压器配置：

   "transforms": "TimestampConverter",
   "transforms.TimestampConverter.type": "org.apache.kafka.connect.transforms.TimestampConverter$Value",
   "transforms.TimestampConverter.field": "UPDATED",
   "transforms.TimestampConverter.format": "yyyy-MM-dd",
   "transforms.TimestampConverter.target.type": "string"

任何已知的方法如何通过更准确的时间戳来实现这一点？我尝试了各种不同的配置target.type和format字段

UPDATED 值为 epoch bigint

标签： elasticsearchapache-kafka