python - 从 astropy 表中删除行
问题描述
我想从 astropy 表中删除包含 infs 的行。类似于以下内容
for line in mytable:
if float('inf') in line:
mytable.remove(line)
除了我不知道该remove
函数使用什么。
在文档中,它说明了如何删除一列,但没有说明如何删除一行。
解决方案
这比您的答案快一点,尤其是随着表格大小的增加。
在这里,我们通过对每列掩码进行或运算来制作包含所有行inf
的掩码,而不是对整个表进行一次切片:
>>> table = Table({'a': [1, 2, 3], 'b': [1.0, np.inf, 3.0], 'c': [np.inf, 2.0, 3.0]})
>>> mask = np.logical_or.reduce([c == np.inf for c in table.columns.values()])
>>> table = table[~mask]
>>> table
<Table length=1>
a b c
int64 float64 float64
----- ------- -------
3 3.0 3.0
我们在这两种情况下所做的本身并不是真正的“删除行”,因为我们没有修改原始表。相反,我们正在创建一个新表作为原始表的副本,省略了一些行。因此,按照自己的方式进行操作会比较慢,因为对于每一列,它都必须创建一个表的新副本,而首先创建掩码然后建立索引,无论有多少列,都只会复制一次:
In [24]: %%timeit
...: table2 = table
...: for col in table.colnames:
...: table2 = table2[table2[col] != float('inf')]
...:
327 µs ± 40.9 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
In [25]: %%timeit
...: mask = np.logical_or.reduce([c == np.inf for c in table.columns.values()])
...: table2 = table[~mask]
...:
...:
121 µs ± 7.84 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)
我怀疑对于更多的列和/或行,差异会更加显着。
根据您的用例,您还可以考虑创建一个带有每列掩码的掩码表。这允许您避免从表中删除数据,同时仍对其执行忽略奇异值的算术运算:
>>> table = Table({'a': [1, 2, 3], 'b': [1.0, np.inf, 3.0], 'c': [np.inf, 2.0, 3.0]}, masked=True)
>>> for col in table.columns.values():
... col.mask = (col == np.inf)
...
>>> table
<Table masked=True length=3>
a b c
int64 float64 float64
----- ------- -------
1 1.0 --
2 -- 2.0
3 3.0 3.0
>>> table['b'].mean()
2.0
推荐阅读
- python - ModuleNotFoundError:没有名为“sklearn.data”的模块
- c# - 非托管 .NET 控制台中的依赖注入日志记录
- html - 悬停时出现
- reactjs - 反应解析失败,意外的令牌
- javascript - 使图像适合模态的 div
- r - 没有任何错误或磨损的空输出文件
- javascript - 'map' 在 Redux 和 React 中未定义
- java - 如何在 AndroidStudio 上选择日期后打开对话框?
- kubernetes - Kubernetes Pod 00MKilled 问题
- docker - 将 shell 命令结果从 docker-compose 传递给 Dockerfile