python - 如何有效地将 SQL 日志转换为 CSV？

Question

我有一个大约 5GB 的 SQL .log 文件。它是由客户提供的，所以我不想让他们以不同的格式为我导出它。它具有以下结构：

Header 1 Header 2 Header 3 Header 4
-------- -------- -------- --------
value a  value 1  value 2  value 3
value a  value 4  value 5  value 6
value b  value 7  value 8  value 9

Header 1 Header 2 Header 3 Header 4
-------- -------- -------- --------
value b  value 10  value 11  value 12
value b  value 13  value 14  value 15
value b  value 16  value 17  value 18

我尝试通过将其转换为单独读取每一行的 .txt 来解析它，处理它然后通过执行以下操作移动到下一行：

with open(filename) as infile:
    for line in infile:

有没有更有效的方法来做到这一点？有没有办法将 .log 文件直接转换为 pandas 数据框？

提前致谢！

标签： pythonpandascsvparsing