c# - 有没有办法通过 .NET 为 Apache Spark 查询 Databricks DBFS 或 parquets？

Question

简而言之，我正在尝试探索将数据从 Databricks 工作区提供给 C#/.NET 应用程序以进行用户交互和即席查询的可能性。我花了一些时间设置Databricks-Connect，它似乎正在工作，我可以从我的本地机器上在 Databricks 集群上运行 Python Spark 作业。

我还尝试从.NET 为 Apache Spark进行设置和执行示例

我的问题是我很难找到涉及这两者一起工作的任何文档、示例或演示。是否可以在 .NET 中设置一个 spark 会话，以允许 spark sql 针对 databricks 集群中的数据？Databricks-connect 是不是合适的途径？

最重要的是，是否可以将 .NET 应用程序部署到可以为 Databricks 数据提供服务的 Azure 应用服务？

标签： c#.netapache-sparkdatabricksazure-databricks

Answer 1

这样做的标准方法实际上是使用连接到现有集群或 SQL Analytics 的 JDBC 或 ODBC——它应该通过 ADO.Net 在 .Net 框架中得到支持。它比沿着设置 databricks-connect 的路线更容易使用，并且如果您使用 SQL Analytics 与用于 databricks-connect 的交互式集群相比，它可能会更便宜。