时间戳

首页 > 解决方案 > CSV format is not loading in spark-shell

scala - CSV format is not loading in spark-shell

问题描述

Using spark 1.6 I tried following code:

val diamonds = spark.read.format("csv").option("header", "true").option("inferSchema", "true").load("/got_own/com_sep_fil.csv")

which caused the error

error: not found: value spark

标签： scalacsvdataframeapache-sparkspark-csv

解决方案

您需要使用 SQLContext(spark version<2.0) 或 SparkSession(spark version>=2.0) 初始化实例才能使用 Spark 提供的方法。

要为 spark 版本 < 2.0 初始化 spark 实例，请使用：

import org.apache.spark.sql._
val spark = new SQLContext(sc)

要为 spark version >= 2.0 初始化 spark 实例，请使用：

val spark = new SparkConf().setAppName("SparkSessionExample").setMaster("local")

要使用 spark 1.6 和 databricks spark-csv 包读取 csv： val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").option("inferSchema", "true").load("data.csv")

推荐阅读