时间戳

首页 > 解决方案 > 如何为 spark-shell 设置 YARN 队列？

apache-spark - 如何为 spark-shell 设置 YARN 队列？

问题描述

我正在 spark shell 中执行一些 spark(scala) sql 代码。我想知道我正在使用哪个队列，如果可能的话，我想知道我正在使用多少内存和执行程序以及如何优化它？

标签： apache-sparkapache-spark-sql

解决方案

您可以在启动 spark shell 或 spark-submit 时设置队列名称、执行程序数量、执行程序内存、总内核数、每个执行程序的内核数、驱动程序内存等

这是您可以指定参数的方法。

spark-shell --executor-memory 6G --executor-cores 5 --num-executors 20 --driver-memory 2G --queue $queue_name

您应该根据胖执行器或瘦执行器概念根据集群容量计算这些参数。

如果您仍想查看资源利用率，可以查看资源管理器页面或 SPARK web UI 页面

推荐阅读