时间戳

首页 > 解决方案 > 卡夫卡与流集

ssis - 卡夫卡与流集

问题描述

我正在阅读与 Kafka 和 StreamSets 相关的文章，我的理解是

  1. Kafka 充当生产者系统和订阅者之间的代理。生产者将数据推送到 Kafka 集群，订阅者从 Kafka 拉取数据

  2. StreamsSets 是一种通过管道将数据从一个源移动到另一个源的技术

现在，以下是我的问题，请帮助澄清

  1. Kafka 和 StreamSets 的根本区别是什么？是 Kafka 不移动数据，但 StreamSets 移动数据吗？

  2. 如果卡夫卡不移动数据，卡夫卡是用来做什么的？如果它像 ETL 解决方案一样移动数据，它与 SSIS、Informatica 等有何不同？

  3. StreamSets 与 SSIS、Informatica 等有何不同？

标签： ssisapache-kafkainformaticastreamsets

解决方案

StreamSets 是一个图形工具，包含允许数据移动的组件，其中恰好包括 Kafka 生产者和消费者，但您不需要使用它们。

它们是互补的，通过使用 Kafka，您可以允许流式系统中的背压或让非 StreamSets 生产者/消费者与其他 Kafka 主题进行交互。不，Kafka 不会移动数据（内部复制除外），与代理交互的客户端会移动。

我没有使用过 Informatica 或 SSIS，但我敢肯定，如果您联系了 StreamSets 的某个人，他们可以回答他们的比较方式

推荐阅读