时间戳

首页 > 解决方案 > 有没有办法提高 PyPDF2.PdfFileReader 的文件读取速度。读取多个文件需要太多时间

python - 有没有办法提高 PyPDF2.PdfFileReader 的文件读取速度。读取多个文件需要太多时间

问题描述

我有一个代码可以.pdf通过读取 pdf 文件的内部数据来搜索文件。我的解决方案为我提供了正确的文件，但速度很慢。有没有办法让它更快？

keyword = keyword.lower()

for subdir, dirs, files in os.walk(folder_path):
    for file in files:
        filepath = subdir + os.sep + file
        fpath = subdir + os.sep
        if(keyword in file.lower()):
            if filepath not in tflist:
                tflist.append(os.path.join(filepath))
        if filepath.endswith(".pdf"):
            if filepath not in tflist:
                with open(os.path.join(fpath,file), "rb") as f:
                    reader = PyPDF2.PdfFileReader(f)
                    for i in range(reader.getNumPages()):
                        page = reader.getPage(i)
                        page_content = page.extractText().lower()
                        if(keyword in page_content):
                            tflist.append(os.path.join(filepath))
                            break
                            #print (str(1+reader.getPageNumber(page)))
                            #print(keyword)

print(tflist)

标签： pythonpython-3.x

解决方案

你可以做的是使用multiprocessing.Pool.

将您的代码分成两部分。第一部分使用生成路径列表os.walk。让我们称之为list_of_filenames.

第二部分是一个函数，它读取文件并根据您的条件返回每个页面的文件名和True/或：False

def worker(path):
    rv = {}
    with open(path, "rb") as f:             
        reader = PyPDF2.PdfFileReader(f)       
        for i in range(reader.getNumPages()):
            page = reader.getPage(i)
            page_content = page.extractText().lower()
            if(keyword in page_content):
                 rv[i] = True
            else:
                 rv[i] = False
    return (path, rv)

像这样使用它：

 import multiprocessing as mp

 p = mp.Pool()
 for path, rv in p.imap_unordered(worker, list_of_filenames):
     print('File:', path)
     print('Results:', rv)

鉴于您的 CPU 有n 个内核，这将比一次只处理一个文件快大约n倍。

推荐阅读