r - R解压缩与system2
问题描述
我有一段代码(由 maple 调用)解压缩数百个文件,然后将每个文件加载到每个自己的表中或将一系列文件加载到表中。一个文件超过了 4GB,所以我不能再使用 R 解压缩。这就是我所做的,但脚本现在需要 5 倍的时间才能完成,这不是一个选项。该代码是通过“应用”调用的函数的一部分。脚本也在多个节点执行
我认为问题在于 system2 - unzip 正在同步运行。如果我删除标准输出,它应该异步运行,对吗?但是,它将无法加载文件,因为它不会被解压缩。
if (file < than 4GB) {
unzip(zip_file, file_name, exdir=down_dir)
} else
system2("unzip", args = c("-o", zip_file, file_name, paste0("-d ", down_dir)), stdout = TRUE, stderr = TRUE))
}
... code to load file into a table
预期:同步线程仅适用于该条件,其余文件将异步处理。实际上:如果影响通过 R unzip 解压缩的数百个文件的处理
解决方案
推荐阅读
- java - Spring boot 2 使用 AWS API Gateway 激活 spring 配置文件
- android - Android 上的 Web 推送通知
- swiftui - 从 datepicker 获取和设置日期,但仍然获得旧的默认值
- reactjs - 命令 C 不会阻止本地服务器在 VS 代码上运行
- c# - 如何在 Syncfusion Blazor 中以全宽和自动高度显示整个世界地图?
- text2vec - text2vec 包中的 glove_event$fit_transform 错误
- python - 用 Python 合并 300 个变量
- java - 原生 Android (Java) 中的 Agora.io
- ssh - 对新网站运行 rsync 会导致连接被拒绝
- php - Instagram 的 file_get_contents 返回空响应