时间戳

首页 > 解决方案 > 当特定列值为空时添加所有列的行值，直到它获得非空值？

python - 当特定列值为空时添加所有列的行值，直到它获得非空值？

问题描述

我有一个这样的数据框：

df
col1      col2      col3      col4
 A         12        34        XX
 B         20        25        PP
 B         nan       nan       nan
 nan       P         54        nan
 nan       R         nan       nan
 nan       nan       nan       PQ
  C         D         32       SS
  R         S         32       RS

如果 col1 值为 null 我想添加其他列的所有值，直到它在 col1 中找到 notnull 元素

我正在寻找的数据框应如下所示：

col1     col2     col3     col4
 A         12       34       XX
 B         20       25       PP
 B         PR       54       PQ
 C          D       32       SS
 R          S       32       RS

如何使用 python/pandas 以最有效的方式进行操作

标签： pythonpandasdataframe

解决方案

如果想要处理所有列，如字符串首先向前填充缺失值col1，将NaNs 替换为空字符串，将所有值转换为strings并使用sum：

df['col1'] = df['col1'].ffill()
df = df.set_index('col1').fillna('').astype(str).sum(level=0).reset_index()
print (df)
  col1 col2  col3 col4
0    A   12  34.0   XX
1    B   PR  54.0   PQ
2    C    D  32.0   SS

print (df.dtypes)
col1     object
col2     object
col3     object
col4     object
dtype: object

如果需要仅使用聚合方法处理数字列，例如mean使用 lambda 函数if-else：

df['col1'] = df['col1'].ffill()
c = df.select_dtypes(object).columns
df[c] = df[c].fillna('')

f = lambda x: x.mean() if np.issubdtype(x.dtype, np.number) else ''.join(x)
df = df.groupby('col1').agg(f).reset_index()
print (df)
  col1 col2  col3 col4
0    A   12  34.0   XX
1    B   PR  54.0   PQ
2    C    D  32.0   SS

print (df.dtypes)
col1     object
col2     object
col3    float64
col4     object
dtype: object

编辑：使用新的辅助列：

df['new'] = df['col1'].notna().cumsum()
df['col1'] = df['col1'].ffill()
c = df.select_dtypes(object).columns
df[c] = df[c].fillna('')

f = lambda x: x.mean() if np.issubdtype(x.dtype, np.number) else ''.join(x)
df = df.groupby(['col1', 'new']).agg(f).reset_index(level=1, drop=True).reset_index()

推荐阅读