时间戳

首页 > 解决方案 > 你将如何优化这个简短但非常慢的 Python 循环？

python - 你将如何优化这个简短但非常慢的 Python 循环？

问题描述

我正在从 R 切换到 Python。不幸的是，我发现虽然某些结构在 R 中几乎可以立即运行，但在 Python 中却需要几秒钟（甚至几分钟）。阅读后，我发现在 pandas 中强烈建议不要使用 for 循环，建议使用其他替代方法，例如矢量化和应用。

在此示例代码中：从从最小值到最大值排序的一列值中，保留在长度为“200”的间隙之后出现的所有值。

import numpy as np
import pandas as pd

#Let's create the sample data. It consists of a column with random sorted values, and an extra True/False column, where we will flag the values we want
series = np.random.uniform(1,1000000,100000)
test = [True]*100000
data = pd.DataFrame({'series' : series, 'test':test })
data.sort_values(by=['series'], inplace=True)

#Loop to get rid of the next values that fall within the '200' threshold after the first next valid value
for i in data['series']:
    if data.loc[data['series'] == i,'test'].item() == True:
        data.loc[(data['series'] > i) & (data['series'] <= i+200  ) ,'test' ] = False
#Finally, let's keep the first values after any'200' threshold             
data = data.loc[data['test']==True , 'series']

是否可以将其转换为函数、矢量化、应用或除“for”循环之外的任何其他结构以使其几乎立即运行？

标签： pythonpandasloops

解决方案

这是我的while循环方法：

head = 0
indexes = []
while head < len(data):
    thresh = data['series'].iloc[head] + 200
    indexes.append(head)
    head += 1
    while head < len(data) and data['series'].iloc[head] < thresh:
        head+=1

# output:
data = data.iloc[indexes]

# double check with your approach
set(data.loc[data['test']].index) == set(data.iloc[indexes].index)
# output: True

以上花费了 984 毫秒，而您的方法花费了 56 秒。

推荐阅读