java - Microsoft Azure Cosmos DocumentDB 最佳读取查询性能

问题描述

我们在云中实现了一个 Azure CosmosDB（带有 SQL API 的 MongoDB）数据库。通过java，我们想根据隐藏在MongoDB中的数据生成报告。我对我的读取查询的性能还不太满意，我想知道我当前的设置有什么可以改进的。

就像说的那样，我使用 Java 来查询数据库。我使用 Microsoft Azure DocumentDB 库来查询数据库：

<dependency>
    <groupId>com.microsoft.azure</groupId>
    <artifactId>azure-documentdb</artifactId>
    <version>1.16.2</version>
</dependency>

目前，我能够获得的最佳性能是在大约 20 秒内查询内存中大约 38.000 个文档，配置为 50,000 RU/s（本地 cosmos 模拟器）。我真的很希望这种改进，因为我们可能很快就会查询数百万个文档。

我觉得我们存储数据的方式可能不是最佳的。现在每个文档如下所示：

{
    "deviceid": "xxx",
    "devicedata": {
        "datetime": "2018-08-28T00:00:02.104Z",
        "sensors": [
            {
                "p_A2": "93095",
                "p_A3": "303883",
                "p_batterycurrent": "4294967.10000",
                "p_batterygauge": "38.27700",
                "p_batteryvoltage": "13.59400",
                ** ... around 200 more key - value pairs ... **
            }
        ]
    },
    "id": "aa5d3cf5-10fa-48dd-a0d2-a536284eddac",
    "_rid": "PtEIANkbMQABAAAAAAAAAA==",
    "_self": "dbs/PtEIAA==/colls/PtEIANkbMQA=/docs/PtEIANkbMQABAAAAAAAAAA==/",
    "_etag": "\"00000000-0000-0000-4040-006a7f2501d4\"",
    "_attachments": "attachments/",
    "_ts": 1535619672
}

我们经常使用的查询如下所示：

SELECT c.deviceid, 
    c.devicedata.datetime, 
    c.devicedata.sensors[0].p_A2, 
    c.devicedata.sensors[0].p_A3,
    c.devicedata.sensors[0].p_batterycurrent,
    c.devicedata.sensors[0].s_humidity 
FROM c 
WHERE c.deviceid = 'xxx'
    AND c.devicedata.datetime >= '2018-08-28T00:00:00.000Z' 
    AND c.devicedata.datetime < '2018-08-30T00:00:00.000Z' 
order by c.devicedata.datetime desc

我根据 deviceId 削减了这些查询。因此，对于每个设备，我使用此查询运行一个线程。这似乎比具有单个查询的单个线程快得多。

上述这样的查询将花费我们大约 20 秒。

但是我注意到，如果我只查询 deviceid 和 devicedata.datetime，查询会在 2 秒内完成。似乎从传感器列表中获取传感器数据是一个非常困难的 cookie。如果我选择 *（因此不对传感器数据进行过滤），它也比让 SQL API 过滤掉传感器时更快：大约 15 秒。

我的问题是，我能做些什么来改进这一点？我的文档列表是否太长？有什么办法可以不同地设置吗？传感器键值对不是固定的，并且可能因设备而异。

更多技术细节：我有一个无限的集合，在 /deviceid 上分区。我使用了 Azure 的标准索引策略（即索引所有内容），以及从中排除传感器。

我已经尝试了这里描述的所有提示： https ://docs.microsoft.com/en-us/azure/cosmos-db/performance-tips-java

这是我当前的 Java 设置，尽管我尝试了很多不同的东西：

//This piece of code is currently in a seperate thread. There is one thread per deviceId to query
documentClient = new DocumentClient(HOST, MASTER_KEY,
                 ConnectionPolicy.GetDefault(), ConsistencyLevel.Session);

FeedOptions options = new FeedOptions();
options.setEnableCrossPartitionQuery(true);

documentList = documentClient
    .queryDocuments(getAlldataCollection().getSelfLink(), query, options)
    .getQueryIterable().toList();

我很确定 MongoDB 可以在几秒钟内查询数十万个文档，所以我很确定我当前的设置有问题。

有什么建议么？

标签： javamongodbazureazure-cosmosdbazure-cosmosdb-sqlapi

java - Microsoft Azure Cosmos DocumentDB 最佳读取查询性能

问题描述

解决方案

推荐阅读