时间戳

首页 > 解决方案 > Java Spark：在分类数据的情况下为 aprroxNearestNeighbor 创建关键向量

apache-spark - Java Spark：在分类数据的情况下为 aprroxNearestNeighbor 创建关键向量

问题描述

我正在尝试为分类数据集找到近似最近的邻居。为此，我正在使用MinHashLSHSpark 中存在的模型。

我的数据集有分类数据。所以我使用StringIndexer后跟OneHotEncoderEstimator后跟VectorAssembler将分类值转换为连续值。

现在我想从我的数据集中找到给定键的最近邻居，这个键应该是向量形式。我无法找到将分类键转换为连续向量的方法。

List<Row> dataA = Arrays.asList(RowFactory.create(0, "apple"),
            RowFactory.create(1, "banana"),
            RowFactory.create(2, "coconut"));

StructType schema = new StructType(
            new StructField[] { new StructField("id", DataTypes.IntegerType, false, Metadata.empty()),
                    new StructField("fruits", DataTypes.StringType, false, Metadata.empty()) });
Dataset<Row> dfA = spark.createDataFrame(dataA, schema);
StringIndexer stringIndexer = new StringIndexer().setInputCol("fruits").setOutputCol("fruitIndex").setHandleInvalid("keep");
OneHotEncoderEstimator  encoder = new OneHotEncoderEstimator().setInputCols(new String[]{"fruitIndex"}).setOutputCols(new String[]{"fruitVec"});
String[] featuredCols = new String[] {"fruitIndex","fruitVec"};
VectorAssembler assembler = new VectorAssembler().setInputCols(featuredCols).setOutputCol("features");

Pipeline sovPipeline = new Pipeline().setStages(new PipelineStage[]{stringIndexer, encoder, assembler}); 
    //  Feature Transformation
PipelineModel plModel = sovPipeline.fit(dfA);
Dataset<Row> dfT = plModel.transform(dfA);
MinHashLSH mh = new MinHashLSH().setNumHashTables(5).setInputCol("features").setOutputCol("hashes");
MinHashLSHModel model = mh.fit(dfT);
// model.approxNearestNeighbors(dfT, key, 2).show();

如何从分类键key为方法创建（数字连续向量） ？approxNearestNeighbors

标签： apache-sparknearest-neighborapache-spark-mllsh

解决方案

您使用的Vector数据应使用与训练数据相同的方法进行转换。由于Pipeline模型不能处理单个项目，因此最快的解决方案是使用单个项目Dataset：

import org.apache.spark.ml.linalg.Vector;

Vector key = plModel.transform(spark.createDataFrame(Arrays.asList(
    RowFactory.create(0, "some key")), schema
)).first().getAs("features");

推荐阅读