时间戳

首页 > 解决方案 > 如何在 Apache Spark 中获取评估数据？

java - 如何在 Apache Spark 中获取评估数据？

问题描述

我实现了一个简单的朴素贝叶斯方法，它与 spark 教程中的给定示例完全相同。以下是我的实现方式：

public void applyNaiveBayes(String fileWithBinaryLabelsPath){
    Dataset<Row> dataFrame =
            sparkBase.getSpark().read().format("libsvm").load(fileWithBinaryLabelsPath);
    Dataset<Row>[] splits = dataFrame.randomSplit(new double[]{0.8, 0.2}, 1234L);
    Dataset<Row> train = splits[0];
    Dataset<Row> test = splits[1];

    NaiveBayes nb = new NaiveBayes();

    NaiveBayesModel model = nb.fit(train);

    Dataset<Row> predictions = model.transform(test);
    predictions.show();

    MulticlassClassificationEvaluator evaluator = new MulticlassClassificationEvaluator()
            .setLabelCol("label")
            .setPredictionCol("prediction")
            .setMetricName("accuracy");

    double accuracy = evaluator.evaluate(predictions);
    System.out.println("Test set accuracy = " + accuracy);
}

它运作良好。但我还需要一件事。在这里，我使用 %20 的数据作为测试数据。计算后我想得到结果数据，我的意思是每一行的朴素贝叶斯预测。我怎么能在java中做到这一点？

标签： javaapache-sparkmachine-learning

解决方案

要将预测数据集保存到文件中，请将 Dataset 转换为 JavaRDD 并将 JavaRDD 写入文件，方法是发出predictions.javaRDD().saveAsTextFile(<file path>);

以下是多类分类评估器的指标：
https ://spark.apache.org/docs/2.2.0/api/java/org/apache/spark/ml/evaluation/MulticlassClassificationEvaluator.html#metricName--

由于您使用的是具有二进制分类的朴素贝叶斯模型，因此您需要改用二进制分类评估器：
https ://spark.apache.org/docs/2.0.1/api/java/org/apache/spark/ml/evaluation /BinaryClassificationEvaluator.html

推荐阅读