python-3.x - 将 pandas 数据框列从列表展平到它们自己的特定列
问题描述
我有一个 pandas 数据框,其中有一列包含一个包含内部信息的数组列表。它看起来像这样:
id basket date
c1 [{'product_id': 'P64', 'price': 1146}] 2020-08-11
c2 [{'product_id': 'P44', 'price': 1426}, 2020-08-11
{'product_id': 'P49', 'price': 1108}]
c3 [{'product_id': 'P60', 'price': 39}, 2020-08-11
{'product_id': 'P49', 'price': 1155},
{'product_id': 'P46', 'price': 178}]
我想将篮子列展平,使其看起来像这样:
id product_id price date
c1 P64 1146 2020-08-11
c2 P44 1426 2020-08-11
c2 P49 1108 2020-08-11
c3 P60 39 2020-08-11
c3 P49 1155 2020-08-11
c3 P46 178 2020-08-11
我似乎无法弄清楚,任何帮助将不胜感激。
解决方案
拆分(爆炸)熊猫数据框字符串条目到单独的行具有很棒的爆炸功能。
def explode(df, lst_cols, fill_value='', preserve_index=False):
# make sure `lst_cols` is list-alike
if (lst_cols is not None
and len(lst_cols) > 0
and not isinstance(lst_cols, (list, tuple, np.ndarray, pd.Series))):
lst_cols = [lst_cols]
# all columns except `lst_cols`
idx_cols = df.columns.difference(lst_cols)
# calculate lengths of lists
lens = df[lst_cols[0]].str.len()
# preserve original index values
idx = np.repeat(df.index.values, lens)
# create "exploded" DF
res = (pd.DataFrame({
col:np.repeat(df[col].values, lens)
for col in idx_cols},
index=idx)
.assign(**{col:np.concatenate(df.loc[lens>0, col].values)
for col in lst_cols}))
# append those rows that have empty lists
if (lens == 0).any():
# at least one list in cells is empty
res = (res.append(df.loc[lens==0, idx_cols], sort=False)
.fillna(fill_value))
# revert the original index order
res = res.sort_index()
# reset index if requested
if not preserve_index:
res = res.reset_index(drop=True)
return res
你会打电话给
explode(df, ['basket'], fill_value='')
那么您必须将键和值拆分为单独的列,这个 来自 Pandas 列的 Explode dict就是这样做的。
推荐阅读
- python-3.x - 使用任何 Python 的正则表达式模式在文档中查找内容时遇到问题
- mongodb - 在 mongo db 中处理大型集合时如何优化查询?
- gatsby - 如何在 Gatsby 开发过程中保持开发链接指向本地主机
- kubernetes - Kubernetes Engine集群中节点的外部IP
- python - Plotly:如何绘制多线图?
- c++ - c++入门中数组维度的定义与其他的不同吗?
- lisp - LISP // AutoCAD // 插入块、更改属性值和自定义属性(位置 X、Y;角度..)和绘制线条
- python - tensorflow 是否依赖于特定版本的 protobuf?
- angular - 未捕获的错误:模板解析错误:'mat-label' 不是已知元素:
- c# - 文本框中的自动完成文本