apache-spark - 引起：java.lang.IllegalStateException：已经分配了最多8192页
问题描述
当我运行我的 pyspark 作业时，出现以下错误：
Caused by: java.lang.IllegalStateException: Have already allocated a maximum of 8192 pages
知道是什么原因造成的吗？
解决方案
我通过减少分区/任务的数量来修复它（spark.sql.shuffle.partitions）
推荐阅读
- automl - google automl 会自动进行图像增强吗？
- xamarin.forms - 在 SwitchOutRootNavigation 之后，Freshmvvm 自定义导航页面中的第一个选项卡不显示
- java - java接口方法内联
- ruby-on-rails - 无法将 ruby 应用程序部署到 heroku “预编译资产失败”
- angular - 将多个 div（类）绑定到 Angular 中的动态值
- sql - MSSQL - 添加 sql 中间 IF - ELSE
- php - 如何重写干净的 url 并删除单词之间的空格
- swift - 将 html 转换为文本（空格问题）
- android - 如何在edittext中设置不可编辑的文本
- angular - 测试包含自定义表单控件的角度组件？