python - pyarrow随机导致段错误

Question

我正在使用 pyarrow 来读取羽毛文件。我随机收到以下段错误。

我最初认为这是因为我的 cython 代码中的一些错误，但即使在删除所有 cython 调用之后，我还是随机收到此错误。

python代码读起来很简单

for year in range(start_year, end_year + 1):
    index_data = ds.dataset(INDEX_DATA_PATH / self.ticker / str(year) / 'indexed_table.feather',
                            format='feather')

    index_data = index_data.to_table()
    trade_days = self.get_trading_days(year)

    options_data = ds.dataset(OPTIONS_DATA_PATH / self.ticker / self.expiry_type / str(year), format='feather')
    options_data = options_data.to_table(
        filter=(
                (ds.field('dt') >= trade_days[0]) & (ds.field('dt') <= trade_days[-1])
        ),
        columns=options_data_columns
    )

    expiry_dts = [x.as_py() for x in pc.unique(options_data['expiry_dt'])]
    expiry_dts.sort()

我在 conda 环境中工作。pyarrow 版本是pyarrow==5.0.0

操作系统是openSUSE Leap 15.2

它是高度随机的，大约每 5 个运行段错误中就有一个

非常感谢任何帮助。

标签： pythoncythonpyarrow