python - Pandas .map 字典默认缺失值

Question

pandas.Series.map 的Pandas Docs 说：

“当 arg 是字典时，Series 中不在字典中的值（作为键）将转换为 NaN。但是，如果字典是定义缺失的 dict 子类（即提供默认值的方法），那么这个默认值使用而不是 NaN。”

你是怎么做到的？我无法让它工作..

class MyDict(collections.UserDict):
    
  def __missing__(self):
    return "_Unknown"

d = MyDict({k: v for k, v in my_list})

df.col1.map(d)

标签： pythonpandasdictionarymissing-data

Answer 1

您需要(self, key)作为参数__missing__：

class MyDict(dict):
    def __missing__(self, key):
        return "_Unknown"

---

import pandas as pd

s = pd.Series(range(4))
d = {0: 'foo', 1: 'bar', 2: 'baz'}

s.map(MyDict(d))
#0         foo
#1         bar
#2         baz
#3    _Unknown
#dtype: object

虽然这个功能很好，map但是当它使用标准字典时是一种非常有效的 pandas 方法，上面会减慢它的速度（如下所示）。因此，您可以map使用普通的 dict 然后链接 a.fillna来处理默认值。

s.map(d).fillna('_Unknown')
#0         foo
#1         bar
#2         baz
#3    _Unknown
#dtype: object

---

使用带有特殊返回缺失键的字典与普通字典后跟.fillna. MyDict对于非常小的映射要快得多，但对于较大的系列则要慢得多。

import perfplot
import pandas as pd
import numpy as np

class MyDict(dict):
    def __missing__(self, key):
        return "_Unknown"

d = {0: 'foo', 1: 'bar', 2: 'baz'}  
d2 = MyDict(d)

def map_fillna(s, d):
    return s.map(d).fillna("_Unknown")

def use_MyDict(s, MyDict):
    return s.map(MyDict)


perfplot.show(
    setup=lambda n: pd.Series(np.random.choice(range(7), n)), 
    kernels=[
        lambda s: map_fillna(s, d),
        lambda s: use_MyDict(s, d2),
    ],
    labels=['map + fillna', 'MyDict'],
    n_range=[2 ** k for k in range(1, 27)],
    equality_check= lambda x,y: x.compare(y).empty,
    xlabel='len(s)'
)