时间戳

首页 > 解决方案 > 从 NumPy 掩码数组创建 Pandas DataFrame？

pandas - 从 NumPy 掩码数组创建 Pandas DataFrame？

问题描述

我正在尝试DataFrame从 NumPy 掩码数组创建 Pandas，据我所知这是受支持的操作。这是源数组的示例：

a = ma.array([(1, 2.2), (42, 5.5)],
             dtype=[('a',int),('b',float)],
             mask=[(True,False),(False,True)])

输出为：

masked_array(data=[(--, 2.2), (42, --)],
             mask=[( True, False), (False,  True)],
       fill_value=(999999, 1.e+20),
            dtype=[('a', '<i8'), ('b', '<f8')])

尝试创建一个DataFrame返回pd.DataFrame(a)值：

---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
<ipython-input-40-a4c5236a3cd4> in <module>
----> 1 pd.DataFrame(a)

/usr/local/anaconda/lib/python3.8/site-packages/pandas/core/frame.py in __init__(self, data, index, columns, dtype, copy)
    636             # a masked array
    637             else:
--> 638                 data = sanitize_masked_array(data)
    639                 mgr = ndarray_to_mgr(
    640                     data,

/usr/local/anaconda/lib/python3.8/site-packages/pandas/core/construction.py in sanitize_masked_array(data)
    452     """
    453     mask = ma.getmaskarray(data)
--> 454     if mask.any():
    455         data, fill_value = maybe_upcast(data, copy=True)
    456         data.soften_mask()  # set hardmask False if it was True

/usr/local/anaconda/lib/python3.8/site-packages/numpy/core/_methods.py in _any(a, axis, dtype, out, keepdims, where)
     54     # Parsing keyword arguments is currently fairly slow, so avoid it for now
     55     if where is True:
---> 56         return umr_any(a, axis, dtype, out, keepdims)
     57     return umr_any(a, axis, dtype, out, keepdims, where=where)
     58 

TypeError: cannot perform reduce with flexible type

这个操作真的支持吗？目前使用 Pandas 1.3.3 和 NumPy 1.20.3。

更新

这支持吗？根据这里的熊猫文档：

或者，您可以将 numpy.MaskedArray 作为数据参数传递给 DataFrame 构造函数，并且其被屏蔽的条目将被视为缺失。

上面的代码是我问的问题“我会得到什么？” 如果我将 NumPy 掩码数组传递给 Pandas，但这是我希望的结果。以上是我能想到的最简单的例子。

我确实希望 Pandas 中的每个系列/列都是单一类型。

更新 2

对此感兴趣的任何人都应该看到这个 Pandas GitHub 问题；值得注意的是，Pandas“已弃用对 MaskedRecords 的支持”。

标签： pandasnumpymissing-data

解决方案

如果数组具有简单的 dtype，则数据框创建工作（如文档所述）：

In [320]: a = np.ma.array([(1, 2.2), (42, 5.5)],
     ...:    mask=[(True,False),(False,True)])
In [321]: a
Out[321]: 
masked_array(
  data=[[--, 2.2],
        [42.0, --]],
  mask=[[ True, False],
        [False,  True]],
  fill_value=1e+20)
In [322]: import pandas as pd
In [323]: pd.DataFrame(a)
Out[323]: 
      0    1
0   NaN  2.2
1  42.0  NaN

这a是 (2,2)，结果是 2 行 2 列

使用复合 dtype，形状为 1d：

In [326]: a = np.ma.array([(1, 2.2), (42, 5.5)],
     ...:              dtype=[('a',int),('b',float)],
     ...:              mask=[(True,False),(False,True)])
In [327]: a.shape
Out[327]: (2,)

该错误是对面罩进行测试的结果。 flexible type指您的化合物dtype：

In [330]: a.mask.any()
Traceback (most recent call last):
  File "<ipython-input-330-8dc32ee3f59d>", line 1, in <module>
    a.mask.any()
  File "/usr/local/lib/python3.8/dist-packages/numpy/core/_methods.py", line 57, in _any
    return umr_any(a, axis, dtype, out, keepdims)
TypeError: cannot perform reduce with flexible type

记录在案的 pandas 功能显然不适用于结构化数组。如果不研究 pandas 代码，我目前无法确切地说出它正在尝试做什么，但很明显，代码编写时并没有考虑到结构化数组。

非屏蔽部分确实有效，具有所需的列 dtypes：

In [332]: pd.DataFrame(a.data)
Out[332]: 
    a    b
0   1  2.2
1  42  5.5

使用默认值fill：

In [344]: a.filled()
Out[344]: 
array([(999999, 2.2e+00), (    42, 1.0e+20)],
      dtype=[('a', '<i8'), ('b', '<f8')])
In [345]: pd.DataFrame(a.filled())
Out[345]: 
        a             b
0  999999  2.200000e+00
1      42  1.000000e+20

我必须更多地查看ma文档/代码，看看是否可以对这两个字段应用不同的填充。填充nan不适用于 int 字段。 numpy没有pandas'int none。我对 pandas 功能的工作还不够，无法知道生成的 dtype 是否仍然是 int，或者它是否已更改为 object。

无论如何，你正在推动两者的界限，np.ma并pandas完成这项任务。

编辑

默认的 fill_value 是一个元组，每个字段一个：

In [350]: a.fill_value
Out[350]: (999999, 1.e+20)

所以我们可以用不同的方式填充字段，并从中制作一个框架：

In [351]: a.filled((-1, np.nan))
Out[351]: array([(-1, 2.2), (42, nan)], dtype=[('a', '<i8'), ('b', '<f8')])
In [352]: pd.DataFrame(a.filled((-1, np.nan)))
Out[352]: 
    a    b
0  -1  2.2
1  42  NaN

看起来我可以使用 pandas dtype 及其关联的 fill_value 创建一个结构化数组：

In [363]: a = np.ma.array([(1, 2.2), (42, 5.5)],
     ...:              dtype=[('a',pd.Int64Dtype),('b',float)],
     ...:              mask=[(True,False),(False,True)],
                       fill_value=(pd.NA,np.nan))
In [364]: a
Out[364]: 
masked_array(data=[(--, 2.2), (42, --)],
             mask=[( True, False), (False,  True)],
       fill_value=(<NA>, nan),
            dtype=[('a', 'O'), ('b', '<f8')])

In [366]: pd.DataFrame(a.filled())
Out[366]: 
      a    b
0  <NA>  2.2
1    42  NaN

推荐阅读