首页 > 解决方案 > 如何区分火花数据框中的空值和缺失的 mongogdb 值?

问题描述

前提条件:MongoDB 文档的架构未知。它有空值和缺失值:例如以下文档中的 CCNO (1) 有值 (2) 有空值 (3) 缺失。

我正在使用 MongoSpark.load(SparkSession, ReadConfig) 在 spark 中获取它们,但它正在用数据框中的空值替换缺失值。

请建议一种方法来区分手动插入的空值和火花插入的空值(对于缺失值)。

在此处输入图像描述

标签: mongodbapache-sparkapache-spark-sql

解决方案


推荐阅读