时间戳

首页 > 解决方案 > 为什么我在 sparkSQL 中得到错误的 count() 值

sql - 为什么我在 sparkSQL 中得到错误的 count() 值

问题描述

我正在使用 sparkSQL，有一列，其总数为 1252226。

spark.sql("""select col1 from employee """).count()

output: 1252226 



spark.sql("""select distinct col1 from employee """).count()

output: null
        X 

 count for X = 288149
       IS NULL = 964077  


spark.sql("""select col1 from employee where col1 != 'a' """).count()

    output: 0

在最后一个查询中（ where !- 'a' ），为什么它显示 0 条记录，它应该显示 1252226。

标签： sqlapache-spark-sql

解决方案

推荐阅读