parallel-processing - 如何在 gnu 中并行运行压缩？

Question

您好我正在尝试使用bgzip命令压缩文件

bgzip -c 001DD.txt > 001DD.txt.gz

我想并行运行这个命令。我试过了：

parallel ::: bgzip -c 001DD.txt > 001DD.txt.gz

但它给了我这个错误：

parallel: Error: Cannot open input file 'bgzip': No such file or directory

标签： parallel-processinggnu-parallel

Answer 1

您需要将大文件切成更小的块并压缩它们。可以这样做：

parallel --pipepart -a 001DD.txt --block -1 -k bgzip > 001DD.txt.gz