scala - 如何编写 Kafka RestProxy Server/Client 以供生产使用

Question

需要开发一个REST API，可以将发布的消息从kafka集群读取到数据仓库应用程序。

互联网上可用的材料说使用 POST/GET 命令，但我认为这不是用于生产用途，而是用于测试目的。

如何在 scala/Java 编程中实现它？

标签： scalarestapache-kafka

Answer 1

互联网上可用的材料说使用 POST/GET 命令，但我认为这不是用于生产用途，而是用于测试目的

请链接到您阅读本文的位置...所有生产网络服务都通过（超过）这两种 HTTP 方法运行，每天数十万次...

但是，如果您想真正使用 Kafka 来提高吞吐量，那么您不会将其“隐藏”在 REST 接口后面。例如，您可以将 SSL 证书以及用户名+密码分发给远程客户端。

需要开发一个可以读取来自 kafka 的发布消息的 REST API

REST 并不意味着保持打开的连接，主要是因为它是无状态的（它不应该维护您在 Kafka 中读取的位置）......从 Kafka 消费者转发 websocket 会更有意义，这与一个 REST API。

如何在 scala/Java 编程中实现它

Confluent REST 代理已经用 Java 编写，并且是开源的（我相信有几家公司在生产中使用）。如果你需要灵感，那么你可以从那里开始。否则，您可以在各自的文档中找到 Spring 和 Vert.x 的示例，例如，它们的 Kafka 集成，但您将重新实现许多现有功能。