时间戳

首页 > 解决方案 > 错误：对象 Stemmer 不是包 org.apache.spark.mllib.feature 的成员

scala - 错误：对象 Stemmer 不是包 org.apache.spark.mllib.feature 的成员

问题描述

使用 Scala 在 Spark-shell 中导入包 org.apache.spark.mllib.feature.Stemmer 会返回以下错误：:47: error: object Stemmer is not a member of package org.apache.spark.mllib.feature import org。 apache.spark.mllib.feature.Stemmer

我正在尝试使用以下方式对我的话使用词干：

val stemmer_product_title = new Stemmer()
  .setInputCol("ngrams")
  .setOutputCol("stemmed")
  .setLanguage("English")

这里 ngrams 是一个 1-gram 转换的文本。有人可以帮我吗？我将感激不尽。

标签： scalaapache-sparktextstemmingmining

解决方案

将以下依赖项添加到您的pom.xml

<dependency>
    <groupId>com.github.master</groupId>
    <artifactId>spark-stemming_2.10</artifactId>
    <version>0.2.0</version>
</dependency>

或到您的build.sbt

libraryDependencies += "com.github.master" %% "spark-stemming" % "0.2.1"

推荐阅读