amazon-web-services - 将数据从 Kafka 读取到 AWS Redshift 的最佳实践
问题描述
将数据从 Kafka 集群移动到 Redshift 表的最佳实践是什么?我们有连续的数据到达 Kafka,我想将它写入 Redshift 中的表(它不必是实时的)。
- 我应该使用 Lambda 函数吗?
- 我应该编写一个将在专用 EC2 实例上运行的 Redshift 连接器(消费者)吗?(缺点是我需要处理冗余)
- 是否有一些 AWS 管道服务呢?
解决方案
Kafka Connect 通常用于将数据从 Kafka 流式传输到(和从)数据存储。它做一些有用的事情,比如自动管理横向扩展、故障转移、模式、序列化等等。
此博客展示了如何使用开源 JDBC Kafka Connect 连接器流式传输到 Redshift。还有一个社区 Redshift 连接器,但我没有尝试过。
这个博客展示了另一种方法,不使用 Kafka Connect。
免责声明:我为创建 JDBC 连接器的 Confluent 工作。
推荐阅读
- python - 如何在硒中获取悬停/弹出框的文本?
- javascript - 如何从 JavaScript 中的 return 获取 var 值
- java - 在 LinearLayout 底部和我的应用程序底部之间居中图像
- java - 指数函数参数
- css - 位置:固定和变换:translateZ
- python - 如何制作具有分类值的数据透视表?
- material-ui - 如何为同一内容配置多个 Material UI 徽章
- ruby - 具有属性路径一元 * 运算符语法的 Ruby SPARQL 客户端
- php - 使 Doctrine 的 UniqueEntity 约束不区分大小写
- python - 没有 sudo 的 Cron 作业重启