python - 从包含数百万个文件的目录 (bash/python/perl) 中通过精确匹配有效地查找数千个文件

Question

我在 Linux 上，我试图从包含数百万个文件的目录 (SOURCE_DIR) 中找到数千个文件。我有一个需要查找的文件名列表，存储在单个文本文件 (FILE_LIST) 中。该文件的每一行都包含一个名称，对应于 SOURCE_DIR 中的一个文件，并且该文件中有数千行。

## FILE_LIST contain single word file names, each per line
#Name0001
#Name0002
#..
#Name9999

我想将文件复制到另一个目录（DESTINATION_DIR）。我写了下面的循环，里面有一个循环来一一查找。

#!/bin/bash
FILE_LIST='file.list'
## FILE_LIST contain single word file names, each per line
#Name0001
#Name0002
#..
#Name9999

SOURCE_DIR='/path/to/source/files' # Contain millions of files in sub-directories
DESTINATION_DIR='/path/to/destination/files' # Files will be copied to here


while read FILE_NAME
do
    echo $FILE_NAME
    for FILE_NAME_WITH_PATH in `find SOURCE_DIR -maxdepth 3 -name "$FILE_NAME*" -type f -exec readlink -f {} \;`; 
    do 
        echo $FILE
        cp -pv $FILE_NAME_WITH_PATH $DESTINATION_DIR; 
    done
done < $FILE_LIST

这个循环需要很多时间，我想知道是否有更好的方法来实现我的目标。我搜索了，但没有找到解决我的问题的方法。如果已经存在，请直接向我提供解决方案，或者建议对上述代码进行任何调整。如果另一种方法甚至是 python/perl 解决方案，我也很好。感谢您的时间和帮助！

标签： pythonbashperlfind

Answer 1

注意   在下面添加的不同目录中处理相同名称的代码

---

需要找到要复制的文件，因为它们没有给出路径（不知道它们在哪个目录中），但是重新搜索每个文件非常浪费，大大增加了复杂性。

相反，首先为每个文件名构建一个带有完整路径名的哈希。

一种方法，使用 Perl，利用快速核心模块File::Find

use warnings;
use strict;
use feature 'say';

use File::Find;
use File::Copy qw(copy);

my $source_dir = shift // '/path/to/source';  # give at invocation or default

my $copy_to_dir = '/path/to/destination';

my $file_list = 'file_list_to_copy.txt';  
open my $fh, '<', $file_list or die "Can't open $file_list: $!";
my @files = <$fh>;
chomp @files;


my %fqn;    
find( sub { $fqn{$_} = $File::Find::name  unless -d }, $source_dir );

# Now copy the ones from the list to the given location        
foreach my $fname (@files) { 
    copy $fqn{$fname}, $copy_to_dir  
        or do { 
            warn "Can't copy $fqn{$fname} to $copy_to_dir: $!";
            next;
        };
}

剩下的问题是关于可能存在于多个目录中的文件名，但我们需要给出一个规则来决定接下来要做什么。^†</sup>

我忽略了问题中使用了最大深度，因为它无法解释并且在我看来是与极端运行时相关的修复（？）。此外，文件被复制到“平面”结构中（不恢复其原始层次结构），从问题中获取线索。

最后，我只跳过目录，而其他各种文件类型都有自己的问题（复制链接需要注意）。只接受普通文件更改unless -d 为if -f.

---

^† 澄清一下，确实，不同目录中可能存在同名文件。这些应复制到相同的名称，并在扩展名之前以序列号为后缀。</sup>

为此，我们需要检查一个名称是否已经存在，并在构建哈希时跟踪重复的名称，因此这将花费更长的时间。那么如何解释重名有一个小难题？我使用另一个散列，其中仅^{保留重复名称‡}，在arrayrefs 中；这简化并加快了工作的两个部分。</sup>

my (%fqn, %dupe_names);
find( sub {
    return if -d;
    (exists $fqn{$_})
        ? push( @{ $dupe_names{$_} }, $File::Find::name )
        : ( $fqn{$_} = $File::Find::name );
}, $source_dir );

令我惊讶的是，在散布在庞大层次结构中的 25 万个文件上，即使现在为每个项目运行测试，它的运行速度也比不考虑重复名称的代码慢一点。

三元运算符中赋值周围的括号是必需的，因为运算符可能被赋值（如果最后两个参数是有效的“左值”，就像它们在这里一样），因此需要小心分支内的赋值。

然后%fqn按照帖子的主要部分复制后，也复制其他同名文件。我们需要分解文件名，以便在之前添加枚举.ext；我使用核心File::Basename

use File::Basename qw(fileparse);

foreach my $fname (@files) { 
    next if not exists $dupe_names{$fname};  # no dupe (and copied already)
    my $cnt = 1;
    foreach my $fqn (@{$dupe_names{$fname}}) { 
        my ($name, $path, $ext) = fileparse($fqn, qr/\.[^.]*/); 
        copy $fqn, "$copy_to_dir/${name}_$cnt$ext";
            or do { 
                warn "Can't copy $fqn to $copy_to_dir: $!";
                next;
            };
        ++$cnt;
    }
}

（已完成基本测试，但仅此而已）

我可能会使用undef而不是$path上面来表示该路径未使用（同时这也避免了分配和填充标量），但是为了让那些不熟悉模块的子返回内容的人清楚起见，我将其保留为这种方式。

笔记。   对于具有重复项的文件，会有副本fname.ext、fname_1.ext等。如果您希望将它们全部编入索引，则首先将fname.ext（在已通过 复制的目标中）重命名%fqn为fname_1.ext，并将计数器初始化更改为my $cnt = 2;。

---

^‡ 请注意，这些绝不需要是相同的文件。</sup>