python - 查找 nan 填充数组的固定长度连续区域(无重叠)
问题描述
我在这里发现了类似的问题,但没有一个适用于行定义的时间序列数据。我预计可以通过 numpy 或 scipi 找到解决方案。因为我有这么多数据,所以我不想使用 pandas 数据框。
我有很多19 通道 EEG 数据存储在 2d numpy 数组中。我已经将嘈杂的数据标记为 nan,因此给定的运行可能看起来像:
C1 C2 C3 C4 C5 C6 C7 C8 C9 C10 C11 C12 C13 C14 C15 C16 C17 C18 C19
nan 7 5 4 nan nan 7 9 0 -3 nan 2 nan nan 5 7 6 nan 8
0 6 7 3 5 9 2 2 4 6 8 7 5 6 4 -1 nan -8 -9
6 8 7 7 0 3 2 4 5 1 3 7 3 8 4 6 9 0 0
...
nan nan nan 3 5 -1 0 nan nan nan 1 2 0 -1 -2 nan nan nan nan
(没有频道标签)
每次运行的长度在 80,000 到 120,000 行(循环)之间。
对于这些运行中的每一个,我想创建一个新的连续非重叠时期堆栈,其中没有任何值被人工制品到 nan。就像是:
def generate_contigs(run, length):
contigs = np.ndarray(three-dimensional array of arbitrary depth x 19 x length)
count = 0
for row in run:
if nan not in row:
count+=1
if count==length:
stack array of last (length) rows on contigs ndarray
count = 0
else:
count = 0
return(contigs)
例如,假设我指定了长度 4(任意小),并且我的函数找到了 9 个不重叠的 contig,其中 4 行的值都不是 nan。
我的输出应该类似于:
contigs = [
[19x4 array],
[19x4 array],
[19x4 array],
[19x4 array],
[19x4 array],
[19x4 array],
[19x4 array],
[19x4 array],
[19x4 array]
]
输出堆栈中的每个元素类似于以下内容:
[4 6 5 8 3 5 4 1 8 8 7 5 6 4 3 5 6 6 5]
[5 5 7 2 2 9 8 7 7 8 3 0 7 4 4 6 3 7 3]
[4 4 6 7 9 0 9 9 8 8 7 7 6 6 5 5 4 4 3]
[1 2 3 4 5 4 3 6 5 4 3 7 6 5 8 7 6 9 8]
在原始运行的数据数组中连续找到该元素中包含的 4 行。
我觉得我离这里很近,但我在行操作和最小化迭代方面苦苦挣扎。如果您能找到一种方法将开始/停止行索引附加为元组以供以后分析,则可以加分。
解决方案
您可以使用numpy 索引选项来翻转数组,并使用numpy isnan和numpy anynan
查看任何具有适当大小长度 x 19 的选择是否包含任何值。
如果没有值,则将选择添加到列表中并移到后面,如果有,则将索引移动 1 并检查新选择是否没有。
途中很容易存储堆叠选择的第一行的索引。nan
contigs
nan
nan
def generate_contigs(run, length):
i = 0
contigs = []
startindexes = []
while i < run.shape[0]-length:
stk = run[i:(i+length),:]
if not np.any(np.isnan(stk)):
contigs.append(stk)
startindexes.append(i)
i += length
else:
i += 1
return contigs, startindexes
推荐阅读
- amazon-ec2 - ECS 任务如何知道运行在哪个区域?
- sql - Sybase ASE 15.7 SQL 递归查询
- css - 引导卡页脚未正确格式化为第二行
- postgresql - 在 pgadmin4 中连接到不接受我的密码的服务器
- python-3.x - 如何将 HEX 更改为 ASCII?和 UnicodeDecodeError 错误:“ascii”编解码器无法解码位置 246 中的字节 0xff:序数不在范围内(128)
- python - Django:异常类型:IntegrityError 唯一约束失败:auth_user.username
- python - 卡在集成多个 Django 数据库中
- python - 使数字在python中的一行
- math - 如何将权力提升为权力?
- php - Pho 删除所有出现的具有变化数字的确切单词