时间戳

首页 > 解决方案 > Webhook 数据到 Kafka Connect

apache-kafka - Webhook 数据到 Kafka Connect

问题描述

我正在使用 Kafka 连接从不同的地方提取数据：mysql、mongodb 等。并发送到弹性搜索。

我想提取来源是 webhook 的数据。那么，我可以配置一些 Kafka URL 来向它发送 post http 请求吗？发送到我的 Kafka http post 请求的好习惯是什么？

标签： apache-kafkawebhooksapache-kafka-connect

解决方案

Confluent 维护了一个源代码可用的 Kafka REST 代理（请务必阅读项目的 Confluent 社区许可证）。这将允许您“发送 POST 请求”到将这些数据转发给 Kafka 的东西。除此之外，您还可以自己编写一个简单的 HTTP 端点来做同样的事情。

就个人而言，我使用 Nifi 的 ListenHTTP 处理程序来接受 webhook，然后解析、路由、过滤等到 ProduceKafka 请求

否则“拉数据”不是网络钩子，Github 上有少数“Kafka Connect http”源项目。

推荐阅读