bash - 多进程可以加速压缩任务多少？

Question

我有一个大型压缩任务（压缩 10000 个大文件（每个 > 10 G））

我发现xz -z还是gzip很慢。

所以，我想使用多进程来使压缩并行化。

但我听说高 IO 任务的限制是 IO 速度。

我在硬件设计方面不太好。

那么，多进程可以加速压缩吗？

标签： bashmultithreadingcompressionxz

Answer 1

是的，它可以。压缩通常是计算限制的，而不是 I/O 限制的。您可以使用pigz来接近 n 个核心的n倍加速。