scala - 在 pyspark 中使用自定义火花变压器
问题描述
如何在 pyspark 管道中使用用 scala 编写的自定义转换器。
class UpperTransformer(override val uid: String)
extends UnaryTransformer[String, String, UpperTransformer] {
def this() = this(Identifiable.randomUID("upper"))
override protected def validateInputType(inputType: DataType): Unit = {
require(inputType == StringType)
}
protected def createTransformFunc: String => String = {
_.toUpperCase
}
protected def outputDataType: DataType = StringType
}
在 pyspark 管道中使用这个转换器。
解决方案
推荐阅读
- websocket - 如何将 mpsc Receiver 分配给线程?
- swagger - OAS3:为什么在响应中定义 Accept 标头?
- apache-spark - 在 IntelliJ 上运行的异常 Spark sql 代码,即 java.lang.IllegalArgumentException:
- python - 如何递归地在python中查找目录
- c - C管道来自父进程的错误值
- google-apps-script - 从 Gmail 插件添加密件抄送地址
- angular - Angular Universal Microsoft Edge 和文档注入问题
- php - 带有引号的MYSQL查询对象
- python - 如何让餐桌更漂亮
- extjs - ExtJS 仅导出选定的行