pyspark - 如何捕获未由 pyspark 函数转换的行？

Question

我编写了一个函数，它将数据帧的数据类型转换为 Pyspark 中的指定模式。如果 Cast 函数无法转换为相应的数据类型，它会默默地将条目设为 Null。

例如F.col(col_name).cast(IntegerType())，将类型转换为 Integer，如果列值为 Long，它将使其为空。

有什么方法可以捕获它转换为 Null 的情况？在每天运行的数据管道中，如果未捕获这些数据，它将默默地将它们设为 Null 并传递给上游系统。

标签： pysparkcasting