时间戳

首页 > 解决方案 > 内存中的 DataFrame 寿命，Spark？

apache-spark - 内存中的 DataFrame 寿命，Spark？

问题描述

我的问题与内部 sprak 中的内存管理和 GC 更相关。

如果我要创建一个 RDD，它将在我的 Executor 内存中保留多长时间。

# Program Starts
spark = SparkSession.builder.appName("").master("yarn").getOrCreate()
df = spark.range(10)
df.show()
# other Operations
# Program end!!!
  1. 一旦我的执行完成，它会被自动删除吗？如果是，有没有办法在程序执行期间手动删除它。
  2. 在 Spark 中调用垃圾收集的方式和时间。我们可以像 JAVA 程序一样实现自定义 GC 并在 Spark 中使用它。

标签： apache-sparkpysparkapache-spark-sqldatabricks

解决方案

  1. DataFrame 是 Java 对象，因此如果没有找到引用，您的对象就有资格进行垃圾回收
  1. 无法调用自定义 gc

推荐阅读