python - 任务期间的 Dask 进度

Question

使用 dask 数据框
df = dask.dataframe.from_pandas(df, npartitions=5) series = df.apply(func) future = client.compute(series) progress(future)

在 jupyter 笔记本中，我可以看到每个分区完成多少 apply() 调用的进度条（例如 2/5）。
dask 有没有办法报告每个分区内的进度？
类似于tqdm progress_apply()熊猫的东西。

标签： pythonpandasdasktqdmdask-dataframe

Answer 1

如果您的意思是，每次调用的完成程度如何func()，那么不，Dask 无法知道这一点。Dask调用在自己的python线程中运行的python函数（python线程不能被另一个线程中断），而Dask只知道调用是否完成。

您也许可以设想调用一个具有一些内部回调或其他报告系统的函数，但我认为我没有见过这样的事情。