首页 > 解决方案 > CMD管道与Powershell管道不同?

问题描述

我正在尝试将 Node.js 输出通过管道传输到 preatty-pino

node .\dist\GameNode.js | pino-pretty

在 CMD 中运行它我得到了我的格式化输出,但在 powershell 中运行它我什么也得不到。我读到Powershell在管道时使用了对象,所以我尝试了

node .\dist\GameNode.js | Out-String -Stream | pino-pretty

但这也行不通。

为什么它可以在 CMD 内部工作,但不能在 Powershell 内部工作?谢谢 :)

标签: powershellcmdpipe

解决方案


注意:pino-pretty问题中描述的具体问题通过以下信息解决。Lukas(OP)已在此处提交了错误报告。

令人惊讶的是你什么也没得到,但根本的区别是:

  • cmd.exe的管道处理原始数据,即字节流(接收数据的给定程序本身可能会或可能不会将其解释为文本)。

  • PowerShell 的管道在与外部程序对话时,仅处理文本(字符串),这有两个含义:

    • 在将数据传输外部程序时,必须对文本进行编码,这基于存储在首选项变量$OutputEncoding中的字符编码。

    • 在从外部程序接收数据时,必须对数据进行解码,这基于存储在 中的字符编码[Console]::OutputEncoding,默认情况下是系统的 OEM 代码页,如chcp.

      • 无论数据是在 PowerShell 中进一步处理还是传递给另一个外部程序,这种解码总是会发生。

        • 答案中讨论了有时甚至在两个外部程序之间也无法通过 PowerShell 管道发送原始数据的问题。
      • 唯一的例外是,如果外部程序输出既没有被捕获,也没有通过管道发送,也没有重定向到文件:在这种情况下,数据直接打印到控制台(终端),但仅在本地控制台中(使用 PowerShell 时)远程处理与远程机器交互,解码再次总是涉及)。

        • 这种直接显示打印有时可以隐藏编码问题,因为某些程序,特别是在这种情况下,会根据情况python使用完整的 Unicode 支持;也就是说,输出可能打印得很好,但是当您尝试进一步处理它时,可能会出现编码问题。
        • 强制解码的一种简单方法是将调用包含在(...); 例如,
          python -c "print('eé')" 打印正常,但
          (python -c "print('eé'))"出现编码问题;有关更多信息,请参见底部

虽然控制台应用程序传统上使用活动 OEM 代码页进行字符编码和解码,但Node.js 始终使用 UTF-8

因此,为了让 PowerShell 与 Node.js 程序正确通信,您必须(暂时)首先设置以下内容:

$OutputEncoding = [Console]::OutputEncoding = [System.Text.UTF8Encoding]::new()

如果您想从根本上切换到 UTF-8,无论是系统范围(具有深远影响)还是仅适用于 PowerShell 控制台窗口,请参阅此答案


顺便说一句:中继外部程序的输出永远不需要中间Out-String -Stream管道段 - 它实际上是(昂贵的)无操作,因为逐行流式传输 stdout 输出是 PowerShell 默认情况下所做的。换句话说:这对您的情况没有影响也就不足为奇了。


可选阅读:针对ad-hoc编码需求/诊断的便利功能Invoke-WithEncoding和诊断功能:Debug-NativeInOutput

如果无法将所有 PowerShell 控制台切换到 UTF-8 和/或您需要处理使用除 UTF-8 或活动 OEM 代码页以外的特定编码的“流氓”程序,您可以安装:

  • Function Invoke-WithEncoding,它在调用外部程序时临时切换到给定的编码,直接从这个 Gist如下(我可以向你保证这样做是安全的,但你应该经常检查):
# Download and define advanced function Invoke-WithEncoding in the current session.
irm https://gist.github.com/mklement0/ef57aea441ea8bd43387a7d7edfc6c19/raw/Invoke-WithEncoding.ps1 | iex
  • 功能Debug-NativeInOutput,它可以帮助诊断外部程序的编码问题,直接从这个要点如下(同样,你应该先检查):
# Download and define advanced function Debug-NativeInOutput in the current session.
irm https://gist.github.com/mklement0/eac1f18fbe0fc2798b214229b747e5dd/raw/Debug-NativeInOutput.ps1 | iex

下面是使用命令打印重音字符的示例命令。python

与 Node.js 一样,Python 的行为是非标准的,虽然它不使用 UTF-8,但系统的活动ANSI (!) 代码页(而不是预期的OEM代码页)。

也就是说,即使您将 PowerShell 控制台切换为 UTF-8,默认情况下与 Python 脚本的通信也不会正常工作,除非付出额外的努力,这Invoke-WithEncoding可以为您封装:

注意:我在这里以 Python 为例,来说明这些函数是如何工作的。可以使 Python 使用 UTF-8,通过将环境变量设置PYTHONUTF81或 - 在 v3.7+ 中 - 通过传递参数-X utf8(大小写精确)。


Invoke-WithEncoding例子:

# Outputs *already-decoded* output, so if the output *prints* fine, 
# then *decoding* worked fine too.
PS> Invoke-WithEncoding { python -c "print('eé')" } -Encoding Ansi -WindowsOnly
eé
  • 请注意,Invoke-WithEncoding确保在输出之前对 .NET 字符串进行实际解码,这样编码问题不会被Windows 上看似正确的直接显示输出意外掩盖(更多信息请参见下文)。

  • -WindowsOnly是为了跨平台兼容性,并确保在这种情况下仅在 Windows 上应用编码(在 Unix 上,Python 使用 UTF-8)。


Debug-NativeInOutput例子:

使用默认的 PowerShell 控制台,使用系统的 OEM 代码页,您将看到以下输出,其中包含从 PowerShell (Core) 7.1 调用的相同 Python 命令:

PS> Debug-NativeInOutput { python -c "print('eé')" }

调试-NativeInOutput

  • 请注意DecodedOutput属性,显示基于将 Python 的输出解释为OEM而非 ANSI 编码的错误解码结果: 。(属性是空白的,因为该命令不涉及将数据管道传输Python 脚本。)'eΘ'Input*

  • 相比之下,通过直接显示打印,输出打印效果很好(因为 Python 那时 - 并且只有那时 - 使用 Unicode),这隐藏了问题,但只要您想以编程方式处理输出 - 捕获在变量中,发送到管道中的另一个命令,重定向到一个文件 - 编码问题将浮出水面。

  • Like Invoke-WithEncoding,Debug-NativeInOutput支持一个-Encoding参数,所以如果你传递-Encoding Ansi给上面的调用,你会看到 Python 的输出被正确解码。

  • 输出反映了这样一个事实:在 PowerShell (Core) 中,$OutputEncoding默认为 UTF-8,而在 Windows PowerShell 中,它默认为 ASCII(!)。这种与控制台窗口中实际编码的不匹配是有问题的,这个关于 GitHub 问题 #14945的评论提出了一种在未来解决这个问题的方法(仅适用于 PowerShell(Core))。


推荐阅读