首页 > 解决方案 > 奇怪的管道缓冲

问题描述

我有一个充满文件编号的文件(从 0 开始)

$ cat in.del
0
1
2
....

任何人都可以解释这里发生了什么以及缓冲发生在管道以外的地方吗?据我了解,两个head'sfileno(stdin) 都必须直接查看管道的读取端

$ cat in.del | ( head -n1 ; head -n1 )
0
60

下面的代码与上面的代码有何不同?

$ cat in.del | ( head -n10 ; head -n10 )
0
1
...
8
9
60
1861 # O_o
1862
1863
...
1868
1869

这按预期工作,并表明它head本身读取的字节数不超过它实际写入的字节数stdout

$ ( head -n10 ; head -n10 ) < ./in.del
0
1
...
9
10
11
...
18
19

显然有一些与管道有关的事情发生

更新

操作系统:Ubuntu 18.04.1 LTS

Bash:版本 4.4.19(1)-release (x86_64-pc-linux-gnu)

更新 2 作为@Barmar 精彩答案的补充,更多关于 stdio 缓冲

标签: bashunixpipefile-descriptor

解决方案


发生的事情是 stdio 一次从管道读取整个缓冲区,而 Linux 上的缓冲区大小为 8K。

然后head从缓冲区中读取前 10 行,打印它们,然后退出。

下一个head开始从最后一个停止的管道读取 8K 字节到文件中。它读取该行和以下 9 行。60你看到的是结束1860

在最后一种情况下它按预期工作的原因是因为head它在退出之前寻找它打印的最后一行的末尾。寻找在管道中不起作用,所以这没有效果。但是当stdin是普通文件时,seek 工作,下一个过程从seek 设置文件位置的地方开始。

我在 Mac 上看到的结果略有不同。它的缓冲区大小为 64K,因此第二个缓冲区head在文件中的开始时间要晚得多。它也不会在退出之前回溯到最后打印行的末尾,因此具有文件重定向的版本与管道相同。


推荐阅读