时间戳

首页 > 解决方案 > 如何在 python 中更快地操作大文件？

python - 如何在 python 中更快地操作大文件？

问题描述

我必须遍历 30GB 的文件（其中有 30 个），而 500mb 大约需要 15 分钟。知道我正在逐行遍历每一行，我该如何优化性能？

Python

import json
import os

def file_subreddit_comments(rfname,wfname):
    with open(rfname, 'r', encoding="utf8") as rf:
        with open(wfname, 'w', encoding="utf-8") as wf:
            for i, l in enumerate(rf):
                d = json.loads(l)
                link_id = d["link_id"]
                for lsi in list_submission_id:
                    constructed_link_id = "t3_" + lsi
                    if link_id == constructed_link_id:
                        wf.write(l)                    

defaultFilePath = r'D:\Users\Jonathan\Desktop\Reddit Data\Run Comments\\'
directory = os.fsencode(defaultFilePath)

list_submission_id = []
submission_id_file = r'D:\Users\Jonathan\Desktop\Reddit Data\Manipulated Data-09-03-19-Final\UniqueIDSubmissionsList-09-03-2019.txt'
with open(submission_id_file, "r", encoding="utf8") as sif:
    for i, l in enumerate(sif):
        list_submission_id.append(l.rstrip())

for file in os.listdir(directory):
     filename = os.fsdecode(file)
     comment_path_read = defaultFilePath + filename
     comment_path_save = defaultFilePath + filename + "_ext_com.txt"
     file_subreddit_comments(comment_path_read,comment_path_save)     
     print(filename)

这submission_id_file是一个包含大约 1000 个关键字的列表，它需要验证每个关键字的值constructured_link_id是否在列表中。

标签： pythonbigdata

解决方案

多线程和多处理可能是上面 Thom 提出的解决方案。好吧，至少它减少了我执行任务的时间。12 个核心 = 12 个文件同时操作。

推荐阅读