首页 > 解决方案 > 如何清除 Zeppelin 机器的输入?

问题描述

我想清除 zeppelin 实例中的输入内存。

我正在运行一个从 S3 获取数据并运行一些转换的命令。

不知何故,根据 Spark 中的 executors 选项卡的输入高达 1.4TB。

它列在“执行者”页面的“总输入”下

我试图清除我的缓存以将其降至零,但它不会让步

我正在运行 spark 2.x 并尝试spark.catalog.clearCache()sqlContext.clearCache()

如何清除输入内存?

标签: apache-sparkpysparkapache-zeppelin

解决方案


推荐阅读