时间戳

首页 > 解决方案 > 构建 Scala 库并在数据块中使用它们

scala - 构建 Scala 库并在数据块中使用它们

问题描述

我对 scala 有相当的了解，我在 databricks 中使用它来满足我的数据工程需求。我想创建一些可以在所有其他笔记本中使用的客户库。这是我要找的

  1. 创建一个 scala notebook helperfunctions.scala，它将具有 ParseUrl()、GetUrl() 等函数

  2. 在 databricks 集群上部署这些库

  3. 使用 'import from helperfunctions as fn' 从另一个笔记本调用这些库并使用这些函数

你能给我一个关于如何开始的想法吗？数据块提供什么？

标签： scalaapache-sparkdatabricks

解决方案

我建议不要将笔记本用作进口产品。

您可以使用首选工具从纯 JVM 代码将函数编译和打包为 JAR，然后将其上传到JitPack或GitHub Packages之类的东西，然后您可以像其他 Spark 依赖项一样将实用程序作为 Maven 引用导入

推荐阅读