python - 在 pandas 单元格中显示 numpy 数组的自定义信息

Question

数据框的某些列包含大numpy ndarrays。

这使得在 Jupyter 中以及在文本中以及在 PyCharm 中调试期间显示数据帧非常慢。

此外，由于 pandas 试图显示这些数组的某些部分，因此该表看起来很臃肿且没有提供信息。

我正在寻找一种根据单元格的数据类型（但不一定）理想地自定义格式的方法，以便它可以自动工作而无需每次都显式调用格式函数，例如df.to_html(formatters={...})

我努力了：

• 设置全局数组格式np.set_string_function(...)
  但被熊猫显示机制忽略。

• 我所拥有的最好的_repr_html_()方法是为每个这样的数据框替换方法。
  不是一个很好的解决方案，因为它需要在每次更改数据框时重新应用，
  例如df[x] = df.apply(...)

有没有更好的方法来定义特定单元格类型的格式化程序？

标签： pythonpandasnumpyformattingdisplay

Answer 1

定义一个包含数组的类，并显示所需的摘要：

In [90]: class Foo: 
    ...:     def __init__(self,arr): 
    ...:         self.arr = arr 
    ...:     def __repr__(self): 
    ...:         return f'Foo ({self.arr.shape}), ({self.arr.dtype})' 
    ...:                                                                                             
In [91]: Foo(np.arange(3))                                                                           
Out[91]: Foo ((3,)), (int64)
In [92]: Foo(np.ones((1000,10)))                                                                     
Out[92]: Foo ((1000, 10)), (float64)

用这些对象而不是“原始”数组填充您的数据框：

In [93]: df = pd.DataFrame([Foo(np.arange(3)),Foo(np.ones((1000,10))),None], columns=['data'])       
In [94]: df                                                                                          
Out[94]: 
                          data
0          Foo ((3,)), (int64)
1  Foo ((1000, 10)), (float64)
2                         None