时间戳

首页 > 解决方案 > 在 Databricks 上安装 GeoMesa

scala - 在 Databricks 上安装 GeoMesa

问题描述

我正在尝试在 Azure Databricks（Databricks 版本 6.6 / Scala 2.11）中安装 GeoMesa - 尝试遵循本教程

我已经按照描述使用 Maven 坐标在 DataBricks 中安装了 GeoMesa org.locationtech.geomesa:geomesa-spark-jts_2.11:2.3.2。

但是，当我运行时，import org.locationtech.geomesa.spark.GeoMesaSparkKryoRegistrator它告诉我它没有找到。

本教程中的所有其他导入都可以正常工作：

import org.locationtech.jts.geom._
import org.locationtech.geomesa.spark.jts._

我查看了 Geomesa 的 github，它似乎是正确的位置。

我对 Java / Scala / Jars 不是很熟悉。

不知道我还有什么其他方法可以解决这个问题。

提前感谢您的帮助！

标签： scalamavendatabricksazure-databricksgeomesa

解决方案

好问题！本教程似乎有一个小错误。GeoMesaSparkKryoRegistrator 用于管理 Spark 中 SimpleFeatures 的序列化。

本教程似乎没有使用 SimpleFeatures（至少截至 2020 年 8 月）。因此，这种导入可能是不必要的。您应该能够通过跳过导入和注册 GeoMesaSparkKryoRegistrator 来取得进展。

导入的模块仅提供在 Spark 中实现基本几何支持所需的空间类型和功能。要在 Spark 中利用 GeoMesa 的数据存储，可以导入 GeoMesa 数据库特定的 spark-runtime jar。由于这些数据存储使用 GeoTools SimpleFeatures，因此 jar 将包含 GeoMesaSparkKryoRegistrator，其使用类似于该笔记本和 geomesa.org 上的文档中的内容。

推荐阅读