python - 如何连接多个具有长索引的数据帧而不会出错?
问题描述
我有一个目录“.../dados”,其中有多个子目录,其名称是序列号加上一些无用信息 - 例如“17448_2017_Jul_2017_Oct”,其中第一个数字是序列号。在每个子目录中,我有四个“.txt”文件,它们的行/行包含日期和时间信息,以及某种类型的属性,比如湿度,在每个子目录中都以相同的方式命名 - 例如“2019-01- 29 03:11:26 54.7"。
我想连接所有这些以生成具有日期索引的数据集。
path = "/.../dados/"
df = pd.DataFrame()
for fld in os.listdir(path):
subfld = path + fld
if os.path.isdir(subfld):
aux = pd.DataFrame()
sn = fld.split('_')[0]
for file in os.listdir(subfld):
filepath = os.path.join(subfld, file)
if os.path.isfile(filepath):
new_col = pd.read_fwf(filepath, colspecs=[(0, 19), (20, -1)], skiprows=8, names=[file.split('_')[2][:-4]], parse_dates=[0], nrows=9999999)
aux = pd.concat([aux, new_col], axis=1, sort=False)
aux['Machine'] = sn
df = df.append(aux)
这是 df.head(10) 的打印:
HumTechRoom TempTechRoom TempExamRoom HumExamRoom Machine
2018-03-04 00:45:11 82.6 NaN NaN NaN 22162
2018-03-04 00:45:47 80.0 NaN NaN NaN 22162
2018-03-04 00:45:53 78.0 NaN NaN NaN 22162
2018-03-04 00:46:04 75.9 NaN NaN NaN 22162
2018-03-04 00:46:20 73.7 NaN NaN 51.3 22162
2018-03-04 00:46:58 71.7 NaN NaN NaN 22162
2018-03-04 00:47:40 NaN NaN NaN 53.4 22162
2018-03-04 00:47:41 NaN 14.5 NaN NaN 22162
2018-03-04 00:47:54 74.3 NaN NaN NaN 22162
2018-03-04 00:47:59 76.6 NaN NaN NaN 22162
这是我收到的错误消息:
...
line 31, in <module>
aux = pd.concat([aux, new_col], axis=1, sort=False)
File ".../concat.py", line 226, in concat
return op.get_result()
File ".../concat.py", line 423, in get_result
copy=self.copy)
File ".../internals.py", line 5425, in concatenate_block_managers
return BlockManager(blocks, axes)
File ".../internals.py", line 3282, in __init__
self._verify_integrity()
File ".../internals.py", line 3493, in _verify_integrity
construction_error(tot_items, block.shape[1:], self.axes)
File ".../internals.py", line 4843, in construction_error
passed, implied))
ValueError: Shape of passed values is (2, 19687), indices imply (2, 19685)
解决方案
您的 DataFrame 的形状不兼容:
ValueError: Shape of passed values is (2, 19687), indices imply (2, 19685)
换句话说,问题在于 19687 != 19685。无论您遇到什么答案都将来自您的数据的细节,考虑到它的大小,这可能不适合分享。您至少需要在某处添加或删除 2 行。您需要进行调查以确定什么和在哪里。
推荐阅读
- javascript - 带有 jQuery .Show()/.Hide() 的“闪烁”问题
- r - 我想在矩阵中给出分数以可视化 r 中的角色社交网络图
- mongodb - 如何在休眠 OGM 中使用 mongodb 查询?
- compilation - 如何在 Windows 10 上使用 gfortran 使用 Makefile 编译多个 Fortran 90 文件?
- node.js - Zeit/Now 部署停止工作。没有显示错误
- ios - UIApplication.shared.backgroundTimeRemaining 总是少于两秒
- sql-server - 非 sargable 查询可以使用非聚集索引吗?
- wordpress - 在 wp_mail 中将 Datauri 字符串作为附件发送
- javascript - 邮递员不使用后端 JSON API 处理 Ember
- swift - 核心数据获取结果不转换 NsManaged 子类