时间戳

首页 > 解决方案 > Azure Blob 存储读取时间非常慢

c# - Azure Blob 存储读取时间非常慢

问题描述

我将 JSON 数据保存为 Azure Blob 存储 - 标准层中的块 Blob。文件大小为 14.5MB，它包含大约 25,000 个 OLHC 数据对象，我从位于同一区域的 Azure 函数访问 blob。该代码只是读取 blob 进行反序列化，但需要 20-40 秒。有什么我错过的吗？

    public static async Task<Stream> GetBlob(string ConnectionString, string ContainerName, string Path)
    {
        BlobClient blobClient = new BlobClient(ConnectionString, ContainerName, Path);
        MemoryStream ms = new MemoryStream();

        try
        {
            await blobClient.DownloadToAsync(ms);
            ms.Seek(0, SeekOrigin.Begin);
            return ms;
        } catch (Exception ex)
        {
            ms.Dispose();
            throw;
        }        
    }

我请求函数中的 blob

        log.LogInformation($"Begin Downloading Blob ");
        using (Stream blob = await Core.Azure.Blob.GetBlob(blobString, "containerName", fileName))
        {
            log.LogInformation($"End Downloading Blob ");
            log.LogInformation($"Begin Reading Blob ");
            using (StreamReader reader = new StreamReader(blob))
            {
                string json = await reader.ReadToEndAsync();
                log.LogInformation($"Begin Deserialize Blob ");
                sticks = JsonConvert.DeserializeObject<List<MyModel>>(json);
                log.LogInformation($"End Deserialize Blob ");
            }
        }
        log.LogInformation($"{symbol} End Get Blob ");

检查 Blob 是否存在函数

    public static async Task<bool> CheckExists(string ConnectionString, string ContainerName, string Path)
    {
        BlobClient blobClient = new BlobClient(ConnectionString, ContainerName, Path);
        return await blobClient.ExistsAsync();
    }

这是计时最多 47 秒的结果

我切换到流阅读器和 JSON 阅读器，它下降到 10-30 秒.. 但仍然是很长的时间

我在这里添加了时间

2021-01-09 23:53:26.656 开始下载 Blob
2021-01-09 23:53:30.163 结束下载 Blob
2021-01-09 23:53:30.163 开始读取 Blob
2021-01-09 23:53:37.040 开始反序列化 Blob
2021-01-09 23:53:49.737 结束反序列化 Blob

另一个运行
OHLCData.Json 14.44 MB（28,000 行）

2021-01-10 12:40:49.970 开始检查 Blob 是否存在
2021-01-10 12:40:58.962 结束检查 Blob 是否存在
2021-01-10 12:40:58.962 开始下载 Blob
2021-01-10 12:41： 08.181 结束下载 Blob
2021-01-10 12:41:08.187 开始读取 Blob
2021-01-10 12:41:25.713 开始反序列化 Blob
2021-01-10 12:41:33.817 结束反序列化 Blob
2021-01-10 12： 41:33.817 结束获取 Blob

标签： c#azurejson.netazure-blob-storage

解决方案

您正在将整个 blob 下载到内存流中（不必要的额外内存终止），转换为字符串然后反序列化它。我宁愿直接从 blob 流中直接使用下面的流支持Newtonsoft.Json来优化速度和内存使用。

BlobClient blobClient = new BlobClient(ConnectionString, ContainerName, Path);
using (var stream = await blobClient.OpenReadAsync())
using (var sr = new StreamReader(stream))
using (var jr = new JsonTextReader(sr))
{
    result = JsonSerializer.CreateDefault().Deserialize<T>(jr);
}

您也可以使用System.Text.JsonAPI 进行类似操作。

JsonSerializerOptions Options = new JsonSerializerOptions();
using (var stream = await blobClient.OpenReadAsync())
{
    result = await JsonSerializer.DeserializeAsync<T>(stream , Options);
}

推荐阅读