时间戳

首页 > 解决方案 > 不能在 intellij 中包含 org.apache.spark

scala - 不能在 intellij 中包含 org.apache.spark

问题描述

将 IntelliJ Idea 项目作为 Maven 打开时。

当我import scala.io.Source，没有问题。
但是，当我尝试时import org.apache.spark，它不起作用。

我该如何解决？如果您需要更多信息，请告知。

import scala.io.Source
import org.apache.spark

object main extends App {
  val lines = Source.fromFile("C://share_VB/file.csv").getLines.toArray
  for (line <- lines){
    if (!line.isEmpty){
      val testcase = line.split(",").toBuffer
      println(testcase.head)
      println(testcase(1))
      testcase.remove(0, 2)
      while (testcase.nonEmpty){
        println(testcase.head)
        println(testcase(1))
        testcase.remove(0, 2)
      }
    }
  }
}

pom.xml 文件

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
     xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
     xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>

<groupId>seeifthisworks</groupId>
<artifactId>seeifthisworks</artifactId>
<version>1.0-SNAPSHOT</version>

<properties>
    <java.version>1.8</java.version>
    <scala.version>2.11.8</scala.version>
    <scala.compat.version>2.11</scala.compat.version>
    <spark.version>2.2.0.cloudera1</spark.version>
    <config.version>1.3.2</config.version>
    <scalatest.version>3.0.1</scalatest.version>
    <spark-testing-base.version>2.2.0_0.8.0</spark-testing-base.version>
</properties>

<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core -->
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.11</artifactId>
    <version>2.3.0-palantir3</version>
</dependency>


</project>

标签： scalaapache-sparkintellij-idea

解决方案

修复 Spark 版本后替换2.3.0-palantir3为${spark.version}删除cloudera1

无论如何，这里没有火花代码，所以不清楚你想用它做什么

推荐阅读