python - Snakemake 多个通配符和 argparse 参数

Question

我是snakemake的新手，发现很难做最简单的事情。为了说明，我编写了一个程序adding_text.py，它接受输入目录、输出目录和索引（来自os.listdir输入目录）的参数（argparse）来处理一些文本文件。

这是我的文件结构：

identity_category1  
|----A.txt -> text A identity  
|----B.txt -> text B identity  
|----C.txt -> text C identity  
identity_category2  
|----P.txt -> text P identity  
|----Q.txt -> text Q identity  
|----R.txt -> text R identity  
identity_category3  
|----X.txt -> text X identity  
|----Y.txt -> text Y identity  
|----Z.txt -> text Z identity  

这是我的代码adding_text.py：

import argparse
import os
my_parser = argparse.ArgumentParser(usage='python %(prog)s [-h] input_dir output_dir file_index')
my_parser.add_argument('input_dir', type=str)
my_parser.add_argument('output_dir', type=str)
my_parser.add_argument('file_index', type=int)
args = my_parser.parse_args()

input_dir = args.input_dir
output_dir = args.output_dir
file_index = args.file_index
if not os.path.exists(output_dir):
    os.mkdir(output_dir)

filelist = os.listdir(input_dir)
input_file = open(os.path.join(input_dir, filelist[file_index]), 'r')
output_file = open(os.path.join(output_dir, filelist[file_index].split('.')[0] + '_added.txt'), 'w')
output_file.write(input_file.read() + ' has been added\n')

我所做的就是在控制台上触发以下命令：

python adding_text.py identity_category1 1_added 0
python adding_text.py identity_category1 1_added 1
python adding_text.py identity_category1 1_added 2
python adding_text.py identity_category2 2_added 0
python adding_text.py identity_category2 2_added 1
python adding_text.py identity_category2 2_added 2
python adding_text.py identity_category3 3_added 0
python adding_text.py identity_category3 3_added 1
python adding_text.py identity_category3 3_added 2

并得到以下输出（结构）：

1_added
|----A_added.txt -> text A identity has been added
|----B_added.txt -> text B identity has been added
|----C_added.txt -> text C identity has been added
2_added
|----P_added.txt -> text P identity has been added
|----Q_added.txt -> text Q identity has been added
|----R_added.txt -> text R identity has been added
3_added
|----X_added.txt -> text X identity has been added
|----Y_added.txt -> text Y identity has been added
|----Z_added.txt -> text Z identity has been added

所以python编码不是问题。问题是当我试图围绕该问题设计一个snakemake工作流程时，涉及多个通配符、依赖项等。我possible_snakefile看起来像这样

NUM = ["1", "2", "3"]
SAMPLE = ["A", "B", "C"]

rule add_text:
    input: 
        expand("identity_category{num}/{sample}.txt", num=NUM, sample=SAMPLE)
    output: 
        expand("{num}_added/{sample}_added.txt", num=NUM, sample=SAMPLE)
    run:
        for index in range(0,3):
            shell("python adding_text.py identity_category{num} {num}_added index")

当我尝试通过 指定目标并执行试运行时snakemake --cores 1 -n -s possible_snakefile 1_added/A_added.txt，它错误地映射了输入目录和相应的文件，并向我抛出了这个错误：

MissingInputException in line 4 possible_snakefile:
Missing input files for rule add_text:
identity_category3/C.txt
identity_category2/A.txt
identity_category3/B.txt
identity_category2/B.txt
identity_category2/C.txt
identity_category3/A.txt

我确信它非常简单，但我无法完全理解它。即在命令行中指定不同的通配符possible_snakefile或在命令行中指定不同的目标文件。我会很感激这里的帮助。谢谢

标签： pythonwildcardargparsesnakemake

Answer 1

首先，您的设计不是很好，因为它依赖于文件名的顺序。这意味着如果您在identity_category{num}目录中再添加一个文件，结果将会改变。这会使管道复杂化，使其难以预测，我建议您重新编写脚本并使依赖关系明确。无论如何，在我的其余回答中，我会假设脚本是您无法更改的。

您需要指定一个目标：管道应生成的文件（或一组文件或目录）。该目标不应有通配符，因为目标应是明确的。使用您的脚本，目标是什么并不那么明显，但您可以指定{num}_added您计划从管道中获取的目录组：

rule target:
    input:
        expand("{num}_added", num=NUM)

请注意，{num}here 不是通配符，因为它已在expand函数中完全解析。实际上这个函数会返回一个包含三个元素的列表：["1_added", "2_added", "3_added"]，并且 Snakemake 会知道要生成什么：

rule target:
    input:
        ["1_added", "2_added", "3_added"]

另外请注意，名称目标是任意的，但这必须是您的 Snakefile 中最顶层的规则。

好的，现在 Snakemake 知道它需要生成 3 个对象，您可以指示它如何生成每个对象：

rule make_added:
    input:
        "identity_category{num}"
    output:
        "{num}_added"
    ...
    # some magic would come here later

此规则指示 Snakemake 生成单个{num}_added目录，它需要另一个identity_category{num}必须{num}匹配的目录。这里{num}是一个通配符，Snakemake 会自动替换它的值，它会运行这个规则 3 次（实际上是len(NUM)次）。

现在让我们调用您的脚本：

rule make_added:
    input:
        "identity_category{num}"
    output:
        "{num}_added"
    run:
        for index in range(0, 3):
            shell("python adding_text.py identity_category{wildcards.num} {wildcards.num}_added {index}")

在这里，您不能简单地按名称命名通配符。此外，您需要将变量index放入大括号中。