python - 使用 Python/Pandas 将数据从 Vertica DB 加载到文件

Question

基本上，我正在寻找将非常大的数据集加载到数据框的最快方法。我知道首先将表格从 Vertica 加载到文件中会有所帮助。目前从 DB IDE 将数据保存到 CSV，然后将文件加载到 pandas 比直接从 Vertica 使用 pd.read_sql 快得多。但过程不方便。

有什么建议么？我找到了这个，但不确定如何使用它保存到文件：

cur = connection.cursor()
cur.copy("COPY test_copy (id, name) from stdin DELIMITER ',' ",  csv)

很高兴知道这个过程中的瓶颈是什么。

谢谢！

标签： pythonpandasvertica