时间戳

首页 > 解决方案 > 如何用这种形状的 python 和 pandas 堆叠数据？

python - 如何用这种形状的 python 和 pandas 堆叠数据？

问题描述

我完全迷路了，需要你的帮助。我有 N 个数据集，每个数据集都有 m 列和 x*N 行，以列表的形式。

x = 科目数量

N = 任务数量

param1 & param2 = 收敛的参数

每个数据集由每个主题的每个案例的线性模型参数组成

df_1= {'id': [1, 2], 'task': [1, 1], 'param1': [1, 2],'param2': [0.5,0.8]} 
df_1 = pd.DataFrame(df_1, columns = ['id', 'task','param1', 'param2'])

id  task    param1  param2 
1   1       1       0.5 
2   1       2       0.8

df_2= {'id': [1, 1, 2, 2], 'task': [1, 2, 1, 2], 'param1': [1.2, 3.2,
2.1, 3.2],'param2': [0.4, 1.1, 0.8, 2.2]} 
df_2 = pd.DataFrame(df_2, columns = ['id', 'task','param1', 'param2'])

id  task    param1  param2 
1   1       1.2     0.4 
1   2       3.2     1.1 
2   1       2.1     0.8 
2   2       3.2     2.2


df_3= {'id': [1, 1, 1, 2, 2, 2], 'task': [1, 2, 3, 1, 2, 3], 'param1': [1.1, 3.1, 2.2, 2.3, 3.2, 1.1],'param2': [0.35, 1.05, 0.7, 0.8, 2.2,
1.1]} 
df_3 = pd.DataFrame(df_3, columns = ['id', 'task','param1', 'param2'])

id  task    param1  param2 
1   1       1.1     0.35 
1   2       3.1     1.05 
1   3       2.2     0.7 
2   1       2.3     0.8 
2   2       3.2     2.2 
2   3       1.1     1.1

这种趋势继续 df_N 直到我们在 df_N 中有 x * N 行。

我需要使用一些规则将所有 df 堆叠在一起，以便 df_final 仍然有 x * N 行，但是对于每个 id 和每个任务，如果我们在此任务之前有有关任务的信息，我们会将它们附加在一起，顺序列的数量无关紧要，列的 dtype 也无关紧要，NA 值不应为 0。有关任务的信息应按人员的 id 堆叠

最终结果应如下所示：

id  task    1param1 1param2 2param1 2param2 3param1 3param3 
1   1       1       0.5 
1   2       1.2     0.4     3.2     1.1 
1   3       1.1     0.35    3.1     1.05    2.2     0.7 
2   1       2       0.8 
2   2       2.1     0.8     3.2     2.2 
2   3       2.3     0.8     3.2     2.2     1.1     1.1

非常感谢您的帮助！

编辑：抱歉长格式，现在看起来已经完成了（这是为了科学）。

标签： pythonpandasdataframeappendreshape

解决方案

如果您的数据框在一个名为的列表中，datasets您可以执行以下操作：

final_df = pd.DataFrame(columns=['id','task'])
for i, df in enumerate(datasets):
    final_df = final_df.merge(df, how='outer', on=['id', 'task'], suffixes=(str(i),''), sort=True)

推荐阅读