首页 > 解决方案 > 熊猫无值与空数据框

问题描述

对于 pandas 数据框中没有数据,我有两个查询结果不同。

第一个查询:

with self.connection as conn:
            query = f"""SELECT current_client_name, client_phone_number, profile, effective_date, effective_time, 
                                          client_details.telegram_id, telegram_reference
                                          FROM `clients` JOIN `client_details` 
                                         ON clients.telegram_id=client_details.telegram_id 
                                         WHERE `status` = \'{status}\' order by effective_date"""
            df_result = pd.read_sql_query(query, conn)
            return df_result

在没有找到记录的结果中,我看到了空数据框:

Empty DataFrame
Columns: [current_client_name, client_phone_number, profile, effective_date, effective_time, telegram_id, telegram_reference]
Index: []

并且可以在下一个条件下捕获空数据帧:

if df.empty is True:

第二次查询

with self.connection as conn:
            query = f"SELECT MAX(effective_date), effective_time FROM `client_details` WHERE `telegram_id` = {telegram_id} " \
                    f"and (`status` = \'WAIT\' or `status`= \'APPROVED\')"
            df_result = pd.read_sql_query(query, conn)
            return df_result

由于某些原因,此查询返回给我的不是空数据框,而是列中没有的数据框

df MAX(effective_date) effective_time
0                None           None

这个结果不能用下一个代码处理,因为由于某些原因返回的不是空数据框!

if df.empty is True:

有谁知道它为什么会发生:为什么在某些情况下返回空数据框以及为什么在列中返回 None 类型的数据框?如何避免或处理这种情况?

谢谢

标签: pandasdataframenonetype

解决方案


在第一种情况下,您的查询不会返回任何结果,因此您的 df.xml 中没有条目。

在第二种情况下,您的查询返回一个结果,但这些字段在您的 SQL 数据库中是空的,因此您有一个非空的 DataFrame,其中包含 None 值。

取决于您是否只想要包含所有非空值的行(例如,您的示例中的两列都必须是非空的),或者如果某些空值是可以的(例如,其中一列是 Null,而另一列是非 Null) ,您可以删除包含这些 None 值的行:

要删除包含任何 None 值的行:

df = df.dropna(how = 'any')

要删除仅包含 None 值的行:

df = df.dropna(how = 'all')

然后检查if df.empty应该是True。


推荐阅读