时间戳

首页 > 解决方案 > 无法从容器外运行的 Spring Boot 应用程序连接到容器中运行的 Kafka

java - 无法从容器外运行的 Spring Boot 应用程序连接到容器中运行的 Kafka

问题描述

我通过以下方式在本地运行 kafka：

码头工人-compose.yml

  zookeeper:
    image: 'bitnami/zookeeper:latest'
    ports:
      - 2181:2181
    environment:
      - ALLOW_ANONYMOUS_LOGIN=yes
  kafka:
    image: 'bitnami/kafka:latest'
    ports:
      - 9092:9092
    environment:
      - KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181
      - ALLOW_PLAINTEXT_LISTENER=yes
      - KAFKA_ADVERTISED_PORT=9092
      - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092

我的 Spring Boot 应用程序运行：

应用程序.yml：

spring:
  application:
    name: testkafka
  kafka:
    bootstrap-servers: localhost:9092

server:
  port: 8080

当我运行它并尝试发送到 kafka 上的主题时，我得到：

org.springframework.kafka.KafkaException: Reply timed out
    at org.springframework.kafka.requestreply.ReplyingKafkaTemplate.lambda$sendAndReceive$0(ReplyingKafkaTemplate.java:196) ~[spring-kafka-2.1.10.RELEASE.jar:2.1.10.RELEASE]
    at org.springframework.scheduling.support.DelegatingErrorHandlingRunnable.run(DelegatingErrorHandlingRunnable.java:54) ~[spring-context-5.0.10.RELEASE.jar:5.0.10.RELEASE]
    at java.base/java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:515) ~[na:na]
    at java.base/java.util.concurrent.FutureTask.run$$$capture(FutureTask.java:264) ~[na:na]
    at java.base/java.util.concurrent.FutureTask.run(FutureTask.java) ~[na:na]
    at java.base/java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:304) ~[na:na]
    at java.base/java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1128) ~[na:na]
    at java.base/java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:628) ~[na:na]
    at java.base/java.lang.Thread.run(Thread.java:834) ~[na:na]

如果我从 docker 容器内部运行 spring boot（使用一个 docker compose 文件），那么它确实有效：

在相同的 Compose 中运行两者：

version: "3.0"
services:
  service1:
    build: ./Service
    ports:
      - 8080:8080
      - 5005:5005
    links:
      - zookeeper
      - kafka
  zookeeper:
    image: 'bitnami/zookeeper:latest'
    ports:
      - 2181:2181
    environment:
      - ALLOW_ANONYMOUS_LOGIN=yes
  kafka:
    image: 'bitnami/kafka:latest'
    ports:
      - 9092:9092
    environment:
      - KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181
      - ALLOW_PLAINTEXT_LISTENER=yes
      - KAFKA_ADVERTISED_PORT=9092
      - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092

如何让 kafka 容器允许来自外部/docker 的连接？

编辑：尝试了这些更改：

kafka:
  image: 'bitnami/kafka:latest'
  ports:
    - 9092:9092
  environment:
    - KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181
    - ALLOW_PLAINTEXT_LISTENER=yes
    - KAFKA_ADVERTISED_PORT=9092
    - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://kafka:9092

和：

spring:
  application:
    name: testkafka
  kafka:
    bootstrap-servers: kafka:9092

server:
  port: 8080

这仍然超时

标签： javadockerspring-bootapache-kafkaspring-kafka

解决方案

如果我从 docker 容器内部运行 spring boot（使用一个 docker compose 文件），那么它确实有效

实际上，它不应该工作。Kafka 没有作为应用程序的一部分运行，因此本节没有指向 Kafka 容器。

kafka:
    bootstrap-servers: localhost:9092

它需要kafka:9092在 Docker 网络中。

并且bootstrap-servers: kafka:9092......仍然超时

那是因为你还有KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092

在 Docker 网络内部和外部，通过指定KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092，您是说您的客户端接收 Kafka 引导连接localhost:9092，这将在 Docker 网络之外工作，只是因为您已经进行了端口转发并且您的容器在 localhost 上运行，然而，在 Docker 网络中，如前所述，localhost 表示应用程序容器，而不是代理。

解决方案是通过该属性创建两个端口映射，正如这篇博文中详细讨论的那样

此外，Confluent 提供了一个完全配置的 Docker Compose，它带有适当的映射，可以在 Docker 内部和外部工作

    ports:
      - "9092:9092"
      - "29092:29092"
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: 'zookeeper:2181'
      ALLOW_PLAINTEXT_LISTENER: "yes"
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
      KAFKA_LISTENERS: PLAINTEXT://:9092,PLAINTEXT_HOST://0.0.0.0:29092
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka:9092,PLAINTEXT_HOST://localhost:29092

对于 Docker 网络内的应用程序，使用kafka:9092，对于外部的应用程序，使用localhost:29092

编辑bitnami 配置变量已更改。请参阅自述文件的这一部分

https://github.com/bitnami/bitnami-docker-kafka/blob/master/README.md#accessing-kafka-with-internal-and-external-clients

推荐阅读