apache-spark - 管理集群和纱线利用率
问题描述
在我们的集群中，我们的最小容器大小为 8 GB，大多数配置单元查询使用 1 个容器。（但肯定可能不会使用分配的所有内存）一些 spark 作业只使用 2GB 或 4GB，根据观察，我们不会为所有查询使用那么多内存。仍然所有容器都用完了。
那么，无论如何我们可以有效地管理。
我们总共有 30 个 vcore，总共 275 GB 内存，因为我们必须为每个容器分配 1 个 vcore，即装瓶到 30 个容器
有没有办法可以有效地利用所有 8gb 的容器？或增加容器数量或做一些其他事情。任何建议都会有所帮助
解决方案
推荐阅读
- python - 从交易数据框（熊猫）中标记客户
- kubernetes - Kubectl attach vs kubectl exec？
- javascript - 反转项目新闻提要的显示
- mysql - 在报告/查询中计算总计
- angular - Angular - 具有原生视图封装和全局 CSS 规则的组件
- c# - .NET 如何在单独的类/表单上捕获预先捕获的异常
- android - 安卓系统 | API 级别 26 或 27
- php - PHP Multiple Rows for single Record into 1 Row with multiple columns
- reactjs - 适应每个功能的 react-leaflet geojson 样式
- mongodb - 提高 MongoDB $geoIntersects 查询的性能