scala - 在 spark-avro 中找不到模式注册表的 to_avro 函数

Question

我正在尝试使用以下文档写入 kafka 接收器：https ://docs.databricks.com/spark/latest/structured-streaming/avro-dataframe.html#example-with-schema-registry

但是，我在 spark-avro 中找不到具有多个参数的 to_avro 函数（https://mvnrepository.com/artifact/org.apache.spark/spark-avro_2.11）。有人知道它是否已被移动/重命名或者我应该使用另一个库吗？谢谢！

标签： scalaapache-sparkapache-kafkaavro

Answer 1

在spark 3.0中，这些功能已移至org.apache.spark.sql.avro.functions.scala对象

检查这个 - spark-repo jira- SPARK-26870

您所指的databricks doc也是基于spark 3