时间戳

首页 > 解决方案 > 在 Spark 中加载 PipelineModel

java - 在 Spark 中加载 PipelineModel

问题描述

我想PipelineModel在 Apache Spark 版本中加载一个2.3.0。我使用以下代码：

PipelineModel.read().load(path);

我得到以下日志：

2018-08-22 19:32:58.841  INFO 15540 --- [nio-8080-exec-5] o.a.spark.storage.memory.MemoryStore     : Block broadcast_0 stored as values in memory (estimated size 216.6 KB, free 1999.0 MB)
2018-08-22 19:32:58.904  INFO 15540 --- [nio-8080-exec-5] o.a.spark.storage.memory.MemoryStore     : Block broadcast_0_piece0 stored as bytes in memory (estimated size 20.5 KB, free 1999.0 MB)
2018-08-22 19:32:58.911  INFO 15540 --- [nio-8080-exec-5] org.apache.spark.SparkContext            : Created broadcast 0 from textFile at ReadWrite.scala:382

我尝试使用 try-catch 但没有抛出异常。在加载之前使用PipelineModel以下SparkSession代码进行初始化：

spark = SparkSession
            .builder()
            .appName("Application Name")
            .master("local[*]")
            .getOrCreate();

我直接从 IDE 运行代码，Spark 在项目中用作 Maven 依赖项。我写的没问题，PipelineModel但不幸的是我不能把它加载回来。任何帮助表示赞赏。

标签： javamavenapache-sparkload

解决方案

推荐阅读