apache-spark - SPARK 持久化示例

问题描述

任何人都可以帮助如何将持久存储级别设置/重置为与默认值不同的级别。我尝试了以下，我可能是不正确的。请帮我纠正它。

下面的代码：

scala> val lines = sc.textFile("/data/retail_db/products/part-00000").persist(StorageLevel.MEMORY_AND_DISK)
<console>:27: error: not found: value StorageLevel

标签： apache-sparkapache-spark-sqlbigdata

你只需要StorageLevel在使用它之前导入，就像这样

import org.apache.spark.storage.StorageLevel

apache-spark - SPARK 持久化示例

问题描述

解决方案

推荐阅读