时间戳

首页 > 解决方案 > 如何在python中对无序离散数据进行热编码？

python - 如何在python中对无序离散数据进行热编码？

问题描述

问题

似乎没有简单的方法来对没有顺序的数据进行一次热编码。我的问题是，单热编码没有特定顺序的值的最佳方法是什么？如果没有标准化的方法来做到这一点，为什么要订购 one-hot-encoded 功能？

例子

我正在尝试对一组值是自定义对象的功能进行一次热编码。我的对象如下所示：

class MyObject(object)
    def __init__(self, identity):
        self.identity = identity

    def __hash__(self):
        return self.identity

    def __eq__(self, other):
        return self.identity == other.identity

在此设置中，可以比较 MyObject 的每个实例是否相等。假设我们有以下对象列表：

objects = [MyObject(0), MyObject(1), MyObject(0)]

该函数set(objects)产生一组 2 个对象，即MyObject(0)和MyObject(1)。这确实是我所期望的行为。因此，当我尝试对这些数据进行一次热编码时，我会期望以下形式的内容：

index   MyObject_0, MyObject_1
    0            1           0
    1            0           1
    2            1           0

但是，我尝试过的所有解决方案都需要对数据进行一次热编码以具有某种顺序，而在我的情况下这是未定义的。我认为如果订单未定义，则应该仍然可以进行单热编码，因为在这种情况下，哪个单热编码功能在另一个之前并不重要。

尝试的解决方案

熊猫数据框

我第一个尝试的解决方案是使用 pandas 的get_dummies()功能。

import pandas as pd

objects   = [MyObject(0), MyObject(1), MyObject(0)]
dataframe = pd.DataFrame({'MyObjectFeature': objects})
dummies   = pd.get_dummies(dataframe)

然而，这个例子给出了一个 TypeError：

TypeError: 'values' is not ordered, please explicitly specify the categories order by passing in a categories argument.

Scikit-learn LabelEncoder & OneHotEncoder

LabelEncoder我的第二次尝试是在将值放入OneHotEncoder对象之前使用 Scikit-learn对值进行编码。然而，LabelEncoder与使用 Pandas 数据帧相同的问题出现了。

from sklearn.preprocessing  import LabelEncoder, OneHotEncoder

objects = [MyObject(0), MyObject(1), MyObject(0)]
encoder = LabelEncoder()
dummies = encoder.fit_transform(objects)

这个例子也给出了一个 TypeError：

TypeError: '<' not supported between instances of 'MyObject' and 'MyObject'

定制解决方案

我还创建了自己的UnorderedLabelEncoder对象来对标签进行编码，而无需订单。这很好用，但我想知道我的问题是否有标准解决方案，即使用知名库。或者如果不是这种情况，我想知道是否有理由要求订购功能？

class UnorderedLabelEncoder(object):

    def __init__(self):
        """ CustomLabelEncoder is capable of handling any
            hashable object including None values.
            """
        self.classes_ = dict()

    def fit(self, y):
        """ Fit label encoder.

            Parameters
            ----------
            y : array-like of shape (n_samples,)
                Target values.

            Returns
            -------
            self : returns an instance of self.
            """
        self.classes_ = {o:i for i, o in enumerate(set(y))}
        return self

    def fit_transform(self, y):
        """ Fit label encoder and return encoded labels.

            Parameters
            ----------
            y : array-like of shape [n_samples]
                Target values.

            Returns
            -------
            y : array-like of shape [n_samples]
        """
        self.fit(y)
        return self.transform(y)

    def transform(self, y):
        """ Transform labels to normalized encoding.

            Parameters
            ----------
            y : array-like of shape [n_samples]
                Target values.

            Returns
            -------
            y : array-like of shape [n_samples]
        """
        return np.array([self.classes_.get(x, -1) for x in y])

问题

重申一下：我的问题是，单热编码没有特定顺序的值的最佳方法是什么？如果没有标准化的方法来做到这一点，为什么要订购 one-hot-encoded 功能？

标签： pythonpandasone-hot-encoding

解决方案

我会说，如果值没有源自其类型的内在顺序（部分顺序），那么您可以人为地定义顺序（类似于数据库中的人工主键）。然后这是您对数据施加的顺序，然后您可以使用任何可用于有序数据的方法（就好像一开始就有 [部分] 顺序）。

推荐阅读