python - 使用 ruamel.yaml 更新包含多个 yaml 的 yaml 文件中的 yaml 块

Question

我有一个 yaml 文件，其中包含几个 yaml 块。该文件可以在这里看到。

基本上，我正在尝试更新ctrl+f blockfreight/go-bftx:文件最后一个 yaml 块中的一个图像键 ( ) 的值。但是，我想保留关于文件的所有内容（包括注释），除了我正在更新的一个值。

我有以下代码：

"""
Retrieves a truncated version of the latest git commit sha and updates 
the go-bftx container image tag in app.yaml
"""

import sys
import ruamel.yaml
from subprocess import check_output

yaml_path = 'app.yaml'
for yaml_block in ruamel.yaml.round_trip_load_all(stream=open(yaml_path)):
    pass

# parse the most recent git commit sha from command line
docker_image = 'blockfreight/go-bftx:ci-cd-' + check_output('git log -1 -- pretty=format:%h'.split()).decode()

# update go-bftx image with most recent git-commit-sha tag in the StatefulSet block
yaml_block['spec']['template']['spec']['containers'][1]['image'] = docker_image

ruamel.yaml.round_trip_dump(yaml_block, sys.stdout)

这成功地编辑了值，保持注释不变，但只将最终的 yaml 块发送到标准输出。

有什么办法让我只编辑 app.yaml 中的第六个（也是最后一个）yaml 块，并保持文件的其余部分完好无损（包括注释）？

我尝试用pass将前五个 yaml 发送到标准输出的 if 语句替换上面的代码，然后编辑第六个值中的值，并将其发送到标准输出。我的想法是使用 bash 将所有标准输出发送到文件（例如python app_modifier.py > app1.yaml），但这仅发送了来自第六个 yaml 的输出。

该代码如下所示：

for i, yaml_block in enumerate(ruamel.yaml.round_trip_load_all(stream=open(yaml_path))):
    if i != 5:
        ruamel.yaml.round_trip_dump(yaml_block, sys.stdout)
    else:
        # parse the most recent git commit sha from command line
        docker_image = 'blockfreight/go-bftx:ci-cd-' + check_output('git log -1 --pretty=format:%h'.split()).decode()

        # update go-bftx image with most recent git-commit-sha tag in the StatefulSet blocks
        yaml_block['spec']['template']['spec']['containers'][1]['image'] = docker_image

        ruamel.yaml.round_trip_dump(yaml_block, sys.stdout)

任何帮助将不胜感激！谢谢！

标签： pythonyaml

Answer 1

您的文件包含多个 YAML 文档，这是您在 using 中读取的内容round_trip_load_all，它为您提供了一个生成器。

如果您使用 将其写回round_trip_dump()，您将永远无法获得---原始文件中的 YAML 文档分隔符。

您可能可以使用生成器，round_trip_dump_all因为您知道要在哪个文档中进行更改，但是生成并处理它可能更list容易round_trip_load_all。我也会使用ruamel.yaml's new API 来做到这一点：

import sys
import ruamel.yaml

yaml = ruamel.yaml.YAML()
yaml.preserve_quotes = True
data = list(yaml.load_all(open('app.yaml')))

# parse the most recent git commit sha from command line
# docker_image = 'blockfreight/go-bftx:ci-cd-' + check_output('git log -1 -- pretty=format:%h'.split()).decode()
docker_image = 'blockfreight/go-bftx:ci-cd-' + 'check_output_output'

# update go-bftx image with most recent git-commit-sha tag in the StatefulSet block
data[-1]['spec']['template']['spec']['containers'][1]['image'] = docker_image

with open('out.yaml', 'w') as ofp:
    yaml.dump_all(data, ofp)

以上主要是有效的。out.yaml差异在于您要进行的更改，以及一些空白标准化（缩进，介于 之间）[ "，这当然是一次性的。

这种方法有两个主要问题：

• 文件中的第一个 YAML 文档没有内容，因此它的注释不能从任何映射/序列中挂起并且不保留
• 第二个 YAML 文档有一个# // Initializes BFTX Service to interact with endpoints被删除的最终注释 ( )。这很可能是 ruamel.yaml 中的一个错误，它只出现在多文档文件中，我必须调查

要解决第一个问题，您只能将该文档作为没有ruamel.yaml. 当你这样做时，你也可以只做剩下的，因为这也解决了（即规避）第二个问题：

import sys
import ruamel.yaml

with open('out.yaml', 'w') as ofp:
    lines = ''
    with open('app.yaml') as ifp:
        for line in ifp:
            lines += line
            if line == '---\n':
                ofp.write(lines)
                lines = ''
    # process lines from the last document
    # print(lines)
    yaml = ruamel.yaml.YAML()
    yaml.preserve_quotes = True
    data = yaml.load(lines)

    # parse the most recent git commit sha from command line
    # docker_image = 'blockfreight/go-bftx:ci-cd-' + check_output('git log -1 -- pretty=format:%h'.split()).decode()
    docker_image = 'blockfreight/go-bftx:ci-cd-' + 'check_output_output'

    # update go-bftx image with most recent git-commit-sha tag in the StatefulSet block
    data['spec']['template']['spec']['containers'][1]['image'] = docker_image

    yaml.dump(data, ofp)

除非您关心流样式序列中的前导尾随空格，或者保留缩进不一致的三个位置，否则这应该可以满足您的要求。的输出diff -u app.yaml out.yaml：

--- app.yaml    2018-06-23 14:41:02.256290577 +0200
+++ out.yaml    2018-06-23 14:58:09.933991459 +0200
@@ -143,7 +143,7 @@
 spec:
   selector:
     matchLabels:
-       app: bftx
+      app: bftx
   serviceName: blockfreight
   replicas: 1
   template:
@@ -151,7 +151,7 @@
       labels:
         app: bftx
     spec:
-     containers:
+      containers:
       - name: tm
         imagePullPolicy: IfNotPresent
         image: tendermint/tendermint:0.20.0
@@ -199,7 +199,7 @@
           tendermint node --moniker="`hostname`" --p2p.seeds="[e-mail]:8888,[e-mail]:8888,[e-mail]:8888,[e-mail]:8888" --proxy_app="tcp://localhost:46658" --consensus.create_empty_blocks=false
       - name: app
         imagePullPolicy: Always
-        image: blockfreight/go-bftx:rc1
+        image: blockfreight/go-bftx:ci-cd-check_output_output
         ports:
         - containerPort: 12345
         - containerPort: 46658
@@ -247,7 +247,7 @@
         - mountPath: /etc/nginx/conf.d/pub_key.conf
           name: tmconfigdir
           subPath: pub_key_nginx.conf
-     volumes:
+      volumes:
       - name: tmconfigdir
         configMap:
           name: bftx-config
@@ -262,7 +262,7 @@
       annotations:
         volume.alpha.kubernetes.io/storage-class: anything
     spec:
-      accessModes: [ "ReadWriteOnce" ]
+      accessModes: ["ReadWriteOnce"]
       resources:
         requests:
           storage: 2Gi
@@ -271,7 +271,7 @@
       annotations:
         volume.alpha.kubernetes.io/storage-class: anything
     spec:
-      accessModes: [ "ReadWriteOnce" ]
+      accessModes: ["ReadWriteOnce"]
       resources:
         requests:
           storage: 12Mi