sql - 是否可以使用 Presto 减少 Redshift 负载?
问题描述
我有相当高利用率的Redshift
集群和Prestodb
集群。让我们假设在我的情况下重新调整 Redshift 集群是不可能的。
Redshift Connector
设置Presto 并在 Presto 而不是 Redshift 上运行一些复杂的查询是否有意义?
Presto 会将整个查询传播到 Redshift 还是只是从中加载数据(我猜是相当便宜的操作)并在 Presto 端加入和聚合它?
解决方案
“Redshift Connector for Presto”似乎只是调用了一个 Amazon Redshift 集群。因此,它将在 Presto 和 Redshift 上产生负载。
在尝试将 Redshift 数据连接到 Presto 可访问的其他类型数据时,它会很有用,但它不会减少Redshift 集群上的负载。
相反,一种选择是将数据存储在 S3 中,而不是 Redshift 集群中。然后可以将这些数据作为Redshift 外部表 和Presto 表进行访问。这将允许您在两个系统之间“转移负载”。
推荐阅读
- python - 如果之前有换行符,则截断树
- php - 如何从多维数组中获取值并在 PHP 中推送另一个多维数组
- unreal-engine4 - Unreal Engine 4 - Collider 组件扫描问题
- oauth-2.0 - 无法获取 Web Core API v1 中设置的用户身份
- git - 如何撤消 git stash 应用
- powershell - 如何测量远程机器上的 Tcp 和 Icmp 连接时间:像 Ping
- pyspark - 派斯帕克 | 将 RDD 从带有值列表的键 > 带有键列表的值转换
- git - 如何在不丢失 git 历史记录的情况下将现有的本地 repo 推送到新的远程 repo
- d - 在编译时从现有列表构造列表
- java - 如何让 Java 使用 JDBC 查看包含在单独模式文件中的 OracleSQL 序列