时间戳

首页 > 解决方案 > Python 过滤错误。布尔系列键将被重新索引以匹配 DataFrame 索引。

python - Python 过滤错误。布尔系列键将被重新索引以匹配 DataFrame 索引。

问题描述

我正在努力让我编写的这段代码工作。我知道这可能很容易解决，但我似乎无法让它正常工作。本质上，我想要的是在 pandas 数据帧上创建一个布尔掩码，它只返回“PqaQuestion”中存在“实际制造商”或“实际集合”中的值的行。它适用于一组标准，但添加多个标准会使事情变得有点混乱。如果不触发用户警告，我似乎无法在其中获得“或”运算符：布尔系列键将被重新索引以匹配数据帧索引，这确实会弄乱输出。如果有人可以帮助解决此问题，但也可以帮助我理解为什么会发生这种情况，我将不胜感激。我看过关于这个主题的其他帖子，但没有一个可以解释它，我可以'

names= ['PqaPrSKU', 'PrName', 'White Label Manufacturer', 'White Label Collection', 'Actual Manufacturer', 'Actual MaID', 'Actual Collection', 'PqaID', 'PqaQuestion', 'UpdatedQuestion', 'PanID', 'PanAnswer', 'UpdatedAnswer', 'DateAdded', 'PrBclgID']


def match_function(column1_value, column2_value, column3_value):
     return (column2_value is not None) and (column1_value is not None) and (column3_value is not None) and (str(column2_value).lower() in str(column1_value).lower()) or (str(column3_value).lower() in str(column1_value).lower())


import pandas as pd
df = pd.read_csv('Bucket61(8.22).csv', names= names, skipinitialspace=True, skiprows=1)
#print(df.from_records(data))

indexer = df.apply(lambda row: match_function(row["PqaQuestion"], row["Actual Collection"], row["Actual Manufacturer"]), axis=1)


filtered_df = df[indexer]

print(filtered_df[indexer])
#print(df[indexer])
from pandas import ExcelWriter

writer = ExcelWriter('ScrubbedQATemplate.xlsx')
filtered_df.to_excel(writer, 'Sheet1')
writer.save()

标签： pythonpandasdataframebooleanfiltering

解决方案

您没有准确解释match_function要达到的目标，但pd.DataFrame.apply应尽可能避免。这只不过是一个薄薄的循环。

让我们尝试将标准转换match_function为布尔系列掩码：

def match_function(column1_value, column2_value, column3_value):
     return (column2_value is not None) and (column1_value is not None) and \
            (column3_value is not None) and \
            (str(column2_value).lower() in str(column1_value).lower()) or \
            (str(column3_value).lower() in str(column1_value).lower())

# match_function(row["PqaQuestion"], row["Actual Collection"], row["Actual Manufacturer"])

这是一个尝试：

cols = ['PqaQuestion', 'Actual Collection', 'Actual Manufacturer']

A = df[cols].astype(str).values

m1 = df[cols].notnull().all(1)
m2 = np.array([j.lower() in i.lower() for i, j, k in A])
m3 = np.array([k.lower() in i.lower() for i, j, k in A])

filtered_df = df[m1 & (m2 | m3)]

需要注意的几点：

  1. 我们通过&/|而不是标量操作and/使用矢量化操作，or后者将应用于逐行操作。
  2. m1将您的前 3 个条件组合成一个 via pd.DataFrame.all。
  3. Pandas 系列和 NumPy 数组中的布尔条件可以通过&/|运算符组合。

推荐阅读