首页 > 解决方案 > Spark 1.6 框架太大 17882426381

问题描述

面临太大的帧问题,增加的随机分区(从 200 运行到 2001)和执行程序内存高达(50G)和执行程序内存开销 - 20480 仍然失败

也使用了重新分区,坚持技术术语仍然显示相同的错误

数据量:300+百万

在此处输入图像描述

标签: apache-sparkapache-spark-sql

解决方案


推荐阅读