时间戳

首页 > 解决方案 > 如何在解析的 csv 块上应用多个标准以获得多个输出？

dask - 如何在解析的 csv 块上应用多个标准以获得多个输出？

问题描述

dask 新手，感谢您的帮助！基本上，我从 540 个 csv 文件中读取 csv 文件（超出 RAM），每次读取 csv 时，我都会应用 2 个过滤条件来获取 2 个输出文件，尽管 dask 正在完成它的工作，但同一块需要两倍的时间。我怎样才能为此编写有效的代码。

pricing_data = dd.read_csv(os.path.join('Selection Tool', 'prc_data','original','*.csv'),dtype={'BENCHMARK YIELD': 'object',
       'BID YIELD': 'object','SPREAD': 'object'},parse_dates=['PRICING DATE'],assume_missing=True,low_memory=False)

pricing_data['Running_Month_ISIN'] = pricing_data['PRICING DATE'].apply(lambda x: x.strftime('%m%Y'), meta=('PRICING DATE', 'object')) + pricing_data['ISIN']
pricing_data['ISIN_PRICING_DATE'] = pricing_data['ISIN'] + pricing_data['PRICING DATE'].dt.strftime('%Y%m%d').astype(str)  # master pricing data 
pricing_data['PRICING_DATE_ISIN'] = pricing_data['PRICING DATE'].dt.strftime('%Y%m%d').astype(str) + pricing_data['ISIN'] 
prc_output2 = pricing_data[pricing_data.PRICING_DATE_ISIN.isin(matching_list_2)].compute()
prc_output1 = pricing_data[pricing_data.Running_Month_ISIN.isin(matching_list_1)].compute()

标签： dask

解决方案

从文档中：

在单个 dask.compute() 调用中使用共享计算计算相关结果

这允许 Dask 只计算一次计算的共享部分（如上面的 dd.read_csv 调用），而不是每次计算调用一次。

所以在你的情况下：

dask_prc_output2 = pricing_data[pricing_data.PRICING_DATE_ISIN.isin(matching_list_2)]
dask_prc_output1 = pricing_data[pricing_data.Running_Month_ISIN.isin(matching_list_1)]
prc_output1, prc_output2 = dask.compute(dask_prc_output1, dask_prc_output2)

推荐阅读