impala - Impala 并发查询延迟
问题描述
我的集群配置如下:
- 3节点集群
- 每个集群节点 128GB RAM。
- 处理器:每个集群节点 16 核超线程。所有 3 个节点都有 Kudu master 和 T-Server 和 Impala 服务器,其中一个节点有 Impala 目录和 Impala StateStore。
我的问题如下:
1) 在运行并发查询时,我很难弄清楚 Impala 中的动态资源池。我试过给mem_limit还是没有运气。我也尝试过静态服务池,但我也无法实现所需的并发性。即使有准入控制,也没有达到所需的并发性。
I) The time taken for 1 query: 500-800ms.
II) But if 10 concurrent queries are given the time taken grows to 3-6s per query.
III) But if more than 20 concurrent queries are given the time taken is exceeding 10s per query.
2)我的一个集群节点在提交查询后没有承担负载,我通过查询摘要检查了这一点。我已尝试在未承受负载的节点上将 NUM_NODES 指定为 0 和 1,但摘要仍显示该节点未承受负载。
解决方案
桌子尺寸是多少?表中有多少行?表是否分区?如果您可以将您的配置与 Impala 基准进行比较,那就太好了
如上所述,Impala 旨在运行在大规模并行处理基础架构上。如果我们设置 10 个节点、80 个内核和 160 个虚拟内核和 12 TB SAN 存储,我们可以获得 5 个并发用户的 60 秒计算时间。
推荐阅读
- ml.net - 如何使用字符串作为预测列
- python-3.x - 为什么我的代码给我的结果与预期不同
- node.js - 如何使用节点 js 中的 Lambda 函数从 kinesis 分析中读取数据?
- google-kubernetes-engine - 在 Kubernetes 中部署基于 Ballerina 的微服务时,指标端点不起作用
- c# - 检查数据表单元格的值c#
- c++ - 比赛条件是如何引起的 || 在 std::atomic? 中使用运算符而不是 &&?
- php - Setcookie() 在 Safari 中不起作用,但在 chrome 中可以正常工作
- kubernetes - Ubuntu 升级到 19.10 后 Minikube 将无法工作
- javascript - 在加载 webapp 之前获取数据、编辑 MongoDB 集合?异步,承诺?
- java-8 - 出现错误:在 ANT 构建期间包 org.docx4j 不存在