scala - 有什么方法可以确定 SparkSQL 应用程序执行的最后阶段吗？
问题描述
我创建了生成日志的自定义 UDF。这些日志可以通过调用由内部层公开的另一个 API 来刷新。但是我想在 UDF 的执行结束后调用这个 API。是否有任何方法可以确定特定 UDF 的执行是否已完成以调用 API 以刷新日志和清理。
例如，当我们为 Hive UDF 扩展 Hive 的 GenericUDF 类时，在 UDF 的生命周期中有一个可用的关闭函数，该函数将在 UDF 执行后调用。
SparkSQL UDF 中是否可以使用类似的方法？
解决方案
推荐阅读
- apache-kafka - Flink 1.12 将 Avro Generic Record 序列化到 Kafka 失败，出现 com.esotericsoftware.kryo.KryoException: java.lang.UnsupportedOperationException
- mysql - 查询以显示 mysql 数据库中 B-Tree 索引的限制
- ios - 在不修改视图的情况下使用 GeometryReader
- php - 更新php版本7到8.0.3打开MySQL数据库时弹出如下错误
- json - 如何在获取请求中将 json 对象作为查询传递
- vue.js - Vue3过渡组，进入活动动画不工作而离开工作
- python - 如何使用python套接字编程附加到文件（重新启动服务器后在同一个dict中）
- forth - 如何编译到任意内存并在 Forth 中执行？
- reactjs - 道具未渲染
- elasticsearch - 嵌套对象中的 Filebeats 字符串转换