amazon-web-services - 结合 dynamodb 流
问题描述
我需要使用 aws 工具构建一个服务，该工具聚合来自各种 dynamodb 表的数据并将数据存储在 redshift 集群中。在将每个数据流存储到 redshift 之前，还需要对其进行处理。
我目前的想法是通过 dynamodb 流将每个数据流发送到 kinesis 数据分析，每个流都有自己的 kinesis 组件。每个 kinesis 组件都会对数据进行处理，然后将处理后的数据写入同一个红移集群。
我担心这是不可扩展的，并且想知道是否有任何方法可以让一个服务获取多个输入流，进行处理，然后将处理后的数据发送到 redshift 集群？这样，对于每个新的 dynamodb 表或 s3 存储桶，我们不需要创建全新的 kinesis 分析组件。
作为参考，每个 dynamodb 表中存储的数据都不相同，处理后的数据也不相同。
正在使用的数据量非常大，需要实时处理更新。
解决方案
推荐阅读
- nginx - NGINX 默认为指向节点服务器的第二个域名上的欢迎页面
- angular - 在另一个类角度4的模型中使用类对象？
- apache-pig - 使用 PIG latin 将数组转置为行
- java - JFrame输入到数组，输出到yml文件
- c++ - 从 const char* 类型的临时变量初始化 cost char*& 类型的非常量引用无效
- python - 尝试在 OS X 上使用 angr 时出错
- laravel - Laravel 部署问题
- javascript - 节点 8.6 javascript 承诺：UnhandledPromiseRejectionWarning
- angular - Angular 和 StompJS 引发 Karma 测试加载失败
- git - Git远程存储库与本地存储库的文件结构不同