python - 强制将 pandas 数据框列强制转换为 int64 类型

Question

我正在处理 TB 级的轻度嘈杂数据，这些数据被分解为约 20 GB 的数据帧。可能每 200 万行中有 20 行在某些列中有错误数据。我想要将 pandas 数据框列快速强制类型转换为int，(NaN)仅将无法强制为的值清空int（不要将整行清空）

使用pd.to_numeric(df, errors='coerce')我已经能够删除字符串。然后我的问题是使用.astype(pd.Int64Dtype()).

这已经多次给出错误

"TypeError: cannot safely cast non-equivalent float64 to int64"

• 一次是由于 0.5 的存在，另一次是由于存在高于 Int64 容量的 21 位代码。

解决这个问题最有效的方法是什么

标签： pythonpandas

Answer 1

您是否尝试添加downcast参数：

df[col] = pd.to_numeric(df[col], errors='coerce', downcast='integer')