首页 > 解决方案 > 如何在Python中将SQL查询结果划分和迭代成块,如果我有数百万条记录,它会减少执行时间吗?

问题描述

我正在使用 impala 作为数据库并尝试获取 2500 万条记录,但它花费了太多时间,即大约。我从 Python 执行它的时间为 40 分钟。我正在考虑将整个查询结果分成块并逐个迭代每个块,这会提高性能吗?

但我该怎么做呢?

标签: pythonsqlpandasbigdataimpala

解决方案


推荐阅读