时间戳

首页 > 解决方案 > 在 great_expectations 中使用腌制的 pandas 数据框作为数据资产

python - 在 great_expectations 中使用腌制的 pandas 数据框作为数据资产

问题描述

可能是一个非常简单的问题，但我无法从 great_expectations 的文档中弄清楚。我想在本地存储为腌制文件“.pkl”的 pandas 数据帧上运行一些测试。

当我运行great_expectations add-datasource它时，它忽略了 .pkl 文件，只为 .csv 文件创建了资产。从 pandas 读取 csv 文件很慢，所以如果 GE 可以支持其他格式，如 pickle 和 HDF，那就太好了。

如何加载 .pkl 或 .hdf 文件作为 GE 的资产？

我正在使用 v0.8.7 :)

标签： pythonpandasgreat-expectations

解决方案

对于 pandas（和 spark），有一个很好的通用方法可以完全控制数据的读取方式，即通过 BatchKwargs 指定一个已经可用的数据帧。

因此，在您的情况下，您可以执行以下操作：

my_dataset = pd.read_pickle(filename)
batch_kwargs = {"dataset": my_dataset}
batch = context.get_batch("my_datasource/in_memory_generator/my_dataset", "warning", batch_kwargs)

注意：这适用于 0.8.x 系列 API，并假定数据上下文配置如下：

datasources:
  my_datasource:
    class_name: PandasDatasource
    ...
    generators:
      in_memory_generator:
        class_name: InMemoryGenerator

PS-这个目的是存在的首要原因InMemoryGenerator。

编辑

在 Great Expectations >= 0.9.0 中，get_batch 的 API 已被简化，因此在这种情况下您将不再需要生成器，并且数据源名称在batch kwargs 中指定。类似的代码片段如下所示：

context = DataContext()
my_dataset = pd.read_pickle(filename)
batch_kwargs = {"datasource": "my_datasource", "dataset": my_dataset}
batch = context.get_batch(batch_kwargs=batch_kwargs, expectation_suite_name="warning")

（并且不需要发电机）

推荐阅读