python - 在 QDS 上运行命令时如何更改超时值
问题描述
我有一个调用我的 python 脚本的 spark-submit 命令。代码运行超过 36 小时,但是由于 36 小时的 QDS 超时限制,我的命令在 36 小时后被终止。
有人可以帮我如何将此参数值更改为设置为 50 小时吗?这就是我在 QDS 中调用脚本的方式
/usr/lib/spark/bin/spark-submit s3:///abc.py
解决方案
我们不能将时间限制配置为超过 36 小时限制。但是我们可以取消对 spark 命令的这个限制。为了从 Analyze/Notebooks 运行 Spark 应用程序,您需要在集群启动之前执行以下操作:
在 Hadoop Configuration Overrides 中编辑集群配置并更新以下配置
yarn.resourcemanager.app.timeout.minutes=-1
在 Spark Configuration Overrides 中编辑集群配置并更新以下配置
spark.qubole.idle.timeout=-1
请让我知道这可不可以帮你。此外,如果您没有运行流式应用程序,并且您的 spark 应用程序正在处理/访问的数据并不庞大,那么您可能还希望通过一些性能调整来减少应用程序的运行时间(从而可能会减少运行时间您的应用程序的时间少于 36 小时),在这种情况下不需要删除这个 36 小时的限制。
推荐阅读
- webgl - 不要在 webgl 中混合与自身交叉的折线
- c# - 如何检查 QueryContainer 是否具有特定属性?
- powershell - 从字符串生成唯一 ID 的最佳方法是什么?
- javascript - 移动浏览器上的缓存破坏
- sql - 获取非返回/未找到输入 sql 的列表
- netsuite - 在 Suitescript 2.0 的销售订单中保存项目行时出错
- reactjs - React Context 在消费者中没有显示价值
- ssl - Nginx DataPower 2 路 TLS
- html - 我有自己的用 bootstrap4 设计的投资组合,我使用模态进行反馈,我需要在没有谷歌表单的谷歌表格中获得访问者的反馈
- sql-server - 半胜以上队伍的输出(例:3/5)