python - 基于其他时间戳将时间戳添加到熊猫数据框的 Pythonic 方法
问题描述
索引到 pandas 数据框以更改值的时髦方式对我来说很困难。我永远无法弄清楚我是否正在更改数据框元素的值,或者我是否正在更改该值的副本。
我对 python 的数组操作语法也很陌生,并且很难将索引上的循环(如在 C++ 中)转换为 python 中的向量操作。我的问题是我希望pandas.Timestamp
根据其他列中的值将一列值添加到数据框中。可以说我从一个数据框开始
import pandas as pd
import numpy as np
mydata = np.transpose([ [11, 22, 33, 44, 66, 77],
pd.to_datetime(['2015-02-26', '2015-02-27', '2015-02-25', np.NaN, '2015-01-24', '2015-03-24'], errors='coerce'),
pd.to_datetime(['2015-02-24', np.NaN, '2015-03-24', '2015-02-26', '2015-02-27', '2015-02-25'], errors='coerce')
])
df = pd.DataFrame(columns=['ID', 'BEFORE', 'AFTER'], data=mydata)
df.head(6)
返回
ID BEFORE AFTER
0 11 2015-02-26 2015-02-24
1 22 2015-02-27 NaT
2 33 2015-02-25 2015-03-24
3 44 NaT 2015-02-26
4 66 2015-01-24 2015-02-27
5 77 2015-03-24 2015-02-25
我想找到 BEFORE 和 AFTER 日期中较小的一个,然后用结果创建一个名为 RELEVANT_DATE 的新列。然后我可以在之前和之后放弃。有无数种方法可以做到这一点,但对我来说,几乎所有方法都行不通。我能做的最好的就是这个
# fix up NaT's only in specific columns, real data has more columns
futureDate = pd.to_datetime('2099-01-01')
df.fillna({'BEFORE':futureDate, 'AFTER':futureDate}, inplace=True)
# super clunky solution
numRows = np.shape(df)[0]
relevantDate = []
for index in range(numRows):
if df.loc[index, 'AFTER'] >= df.loc[index, 'BEFORE']:
relevantDate.append(df.loc[index, 'BEFORE'])
else:
relevantDate.append(df.loc[index, 'AFTER'])
# add relevant date column to df
df['RELEVANT_DATE'] = relevantDate
# delete irrelevant dates
df.drop(labels=['BEFORE', 'AFTER'], axis=1, inplace=True)
df.head(6)
返回
ID RELEVANT_DATE
0 11 2015-02-24
1 22 2015-02-27
2 33 2015-02-25
3 44 2015-02-26
4 66 2015-01-24
5 77 2015-02-25
这种方法超级慢。对于几百万行,它需要很长时间才能有用。
你能为此提供一个pythonic风格的解决方案吗?回想一下,我在矢量化这些操作和确保它们在 DataFrame 中得到真实设置时遇到了麻烦。
解决方案
在一行中取最小值 ( axis=1
)。设置索引,以便您可以随身携带'ID'
。
df.set_index('ID').min(axis=1).rename('RELEVANT DATE').reset_index()
ID RELEVANT DATE
0 11 2015-02-24
1 22 2015-02-27
2 33 2015-02-25
3 44 2015-02-26
4 66 2015-01-24
5 77 2015-02-25
或者将新列分配给您现有的 DataFrame:
df['RELEVANT DATE'] = df[['BEFORE', 'AFTER']].min(1)
推荐阅读
- reactjs - 如何处理由 URL 驱动的 React 站点语言环境的 CSS
- vba - 不应执行代码时无效使用 null 错误
- python-3.x - python subprocess.run() 超时选项无法杀死 MS Access 应用程序
- android - 在 Android 中使用自签名证书时出现 SSLPeerUnverifiedException
- javascript - 为什么我的 ngModal 值在我的 html 选择中得到一个字符串值而不是布尔值 true 或 false?
- php - 如何在选择“显示类别”的 Woocommerce 商店页面中显示每个类别的 ID
- cmake - 在 CLion 中,如何设置 CMakeLists.txt 选项值?
- python - 是否可以在创建 DataFrame 之前进行类似 dropna 的操作?
- kubernetes - 根据 http 请求计数自动缩放 Pod
- python - OpenCV 视频写入会大幅降低 FPS。如何优化性能?