python - Pandas:将多列子集映射到单列子集的有效方法
问题描述
问题
我正在尝试将具有相同名称的多列集合/组合成单列集合。例如:
我有一个数据框,其中包含多个列名重复的列。例如,考虑这个例子,我有两次具有相同列名的多个列的子集,如下所示:
A A A B B
0 cute tall tall NaN old
1 NaN NaN 5 NaN NaN
2 1 old NaN cute big
我的目标是将每个子集(AAA 和 BB)映射到它自己的单列子集。以下所需的输出说明了这个想法:
A_new B_new
0 "cute, tall" "old"
1 "5" NaN
2 "1, old" "cute, big"
为了到达这里,我在输入数据帧上应用了以下 3 个简单的逻辑:
- 将所有非 NaN 值组合成一个字符串并将其保存到一个新列中。
- 组合非 NaN 值时,检查重复项并仅返回那些不重复的值
- 如果所有值都是 NaN,则返回 NaN
我目前的解决方案是基于 for 循环,遍历每一行。但是,这种方法非常慢,而且我的数据框很大,因此我想知道是否有更有效/更快的方法来实现这一目标?
这是我目前(非常慢)的解决方案:
for c,j in tqdm(enumerate(columns)): # columns is a list holding all the relevant column names
merged_values = []
for i in (range(0,len(df))):
values = [x for x in df[j].iloc[i] if x is not np.nan]
values = list(set(values))
if values == []:
values = np.nan
#print(values)
elif len(values) > 1:
values = ", ".join(values)
else:
values = values[0]
merged_values.append(values)
if c == 0:
data = pd.DataFrame(merged_values,columns=[j+"_new"])
else:
data[j] = pd.DataFrame(merged_values,columns=[j+"_new])
解决方案
您只需stack
要先groupby
使用join
然后再转换回使用unstack
df.stack().groupby(level=[0,1]).apply(lambda x : ','.join(set(x))).unstack()
Out[237]:
A B
0 cute,tall old
1 5 NaN
2 1,old big,cute
推荐阅读
- ansible - Ansible:如何编写以服务为中心的清单?
- mongodb - 在“sudo systemctl status mongod”命令中总是得到“活动:失败”
- android - 如何给应用程序正在开发中的信息?
- python - 连接数据库并更新重复行
- batch-file - 是否有 CMD 命令来刷新 Windows 中的“修改日期”?
- android - 在 onPreferenceChange 中访问 Preference 视图
- android - 如何在 RecyclerView 中显示 Firestore 时间戳(日期和时间)
- javascript - 持久服务工作者和缓存 HTML 和 PNG 文件
- python - 如何为线性点曲线增加分辨率?
- python - 如何调用可以是整数或函数的字典项?