python - 高效查询和处理 InfluxDB 数据

Question

我有一个 InfluxDB，我在其中存储每个数据集包含 20.000-40.000 个字段键的数据集。

现在我想通过 Python 脚本（python 3.7x，influxdb_python 5.3.1）从数据库中提取数据。我使用 HTTP 连接连接到 influxdb，然后执行如下查询：

queryResult = influxClient.query('SELECT * FROM measurement_with_many_field_keys')

此查询会在不到一秒的时间内返回。现在我想处理数据，所以我想将它映射到 Pandas DataFrame。目前我正在使用以下代码：

output = pd.DataFrame()
points = queryResult.get_points()
for point in points:
    output = output.append(Series(point), ignore_index=True)
return output

在 ResultSet 中有 16 个点时，此代码需要 100 秒或更长时间（在标准 Windows PC 上）。有没有办法以更有效的方式完成这项工作。

标签： pythonpandasinfluxdbinfluxdb-python