dask - 从索引未排序的数据帧加载后的dask排序索引

Question

我用熊猫创建了带有非排序索引的数据框并将其保存到镶木地板。稍后，如果我使用 dask 加载，如何执行排序索引？我必须做类似的事情 pdf.reset_index().set_index(idx)吗？

标签： dask

Answer 1

据我所知，答案是肯定的，你的方法是正确的。例如，"sort_index"在 Dask 中搜索问题并不会真正产生任何相关结果。

请记住，核外排序是一项相当困难的操作。如果您的数据集适合您的内存，您可能会在 Pandas 中获得更稳定的结果（甚至更好的性能）。