时间戳

首页 > 解决方案 > 您可以将 Matlab 数组和结构的复合数据存储和查询到数据库中吗？

arrays - 您可以将 Matlab 数组和结构的复合数据存储和查询到数据库中吗？

问题描述

如何将位于“结构内结构内的结构”中的 Matlab 数组存储到数据库中，以便随后检索字段和数组？

关于我为什么需要这个的更多详细信息如下：

我有大量数据保存为 .mat 文件……麻烦的是我需要加载一个完整的 .mat 文件才能开始在那里操作和绘制数据。如果该文件很大，只需将其加载到内存中就成了一项艰巨的任务。

这些 .mat 文件是对晶体管的原始电气测量数据进行分析的结果。所有 .mat 文件具有相同的结构，但每个文件对应一个不同且唯一的晶体管。

现在说我想比较 A 和 B 中常见的所有晶体管中的某个参数，我必须手动搜索并加载我需要的所有 .mat 文件，然后尝试进行比较。没有简单的方法将所有这些 .mat 文件合并到一个 .mat 文件中（因为它们都具有相同的变量名但具有不同的数据）。即使这是可能的，我也不知道从 .mat 文件中查询特定条目。

如果没有可以从中查询特定条目的结构化数据库，我看不到一种轻松做到这一点的方法。然后我可以使用任何编程语言（继续使用 Matlab 或切换到 python）来方便地进行比较和绘图......等等。没有分散的 .mat 文件的麻烦。

问题是 .mat 文件中的数据以结构和大数组的形式结构化。据我所知，将其存储在一个简单的 SQL 数据库中并不是一项简单的任务。我使用 HDF5 进行了查找，但从我看到的示例中，我必须执行许多低级命令才能将这些结构存储在 HDF 文件中，并且我不确定是否可以将部分 HDF 文件加载到 Matlab/python 或如果我还必须先将整个文件加载到内存中。

这里的目标是将所有现有的（和将要创建的）.mat 文件（及其结构和数组的复合数据结构）合并到一个数据库文件中，我可以从中查询特定条目。是否有可以保留复杂数据结构的数据库解决方案？HDF是要走的路吗？还是我缺少一个简单的解决方案？

编辑：

我需要保存和检索的数据示例：

All(16).rf.SS(3,2).data

whereAll是具有 7 个字段的结构数组。字段中的每个结构rf都是一个包含数组、整数、字符串和结构的结构。其中一个结构被命名SS，它又是一个结构数组，每个结构都包含一个名为 的 2x2 数组data。

标签： arraysdatabasematlabhdf

解决方案

将 .mat 文件合并到一个数据结构中

一般来说，没有简单的方法将 ... .mat 文件合并到一个 .mat 文件中是不正确的（因为它们都具有相同的变量名但具有不同的数据）。

假设您有两个文件，data1.mat每个data2.mat文件都包含两个变量，a并且b. 你可以做：

>> s = load('data1')
s = 
  struct with fields:

    a: 'foo'
    b: 3

>> s(2) = load('data2')
s = 
  1×2 struct array with fields:
    a
    b

现在你有一个结构数组 （见下面的注释）。您可以像这样访问其中的数据：

>> s(1).a
ans =
    'foo'

>> s(2).a
ans =
    'bar'

但是您也可以一次获取每个字段的所有值，以逗号分隔的列表形式，您可以将其分配给元胞数组或矩阵：

>> s.a
ans =
    'foo'
ans =
    'bar'

>> allAs = {s.a}
allAs =
  1×2 cell array
    {'foo'}    {'bar'}

>> allBs = [s.b]
allBs =
     3     4

注意：令人讨厌的是，您似乎必须先创建具有正确字段的结构，然后才能使用索引对其进行分配。换句话说

s = struct;
s(1) = load('data1')

不会工作，但是

s = struct('a', [], 'b', [])
s(1) = load('data1')

没关系。

为 .mat 文件建立索引

如果您不需要能够搜索每个 .mat 文件中的所有数据，只需要搜索某些字段，您可以在 MATLAB 中构建一个索引，其中仅包含每个 .mat 文件中的相关元数据以及一个引用（例如文件名）到文件本身。作为长期解决方案，这不太可靠，因为您必须确保索引与文件保持同步，但设置工作应该更少。

将数据结构展平为与数据库兼容的表

如果您真的想将所有内容都保存在数据库中，那么您可以将数据结构转换为表格形式，其中任何多维元素（例如结构或数组）都被“展平”为一个表行，每个表行具有一个标量值（适当命名) 表变量。

例如，如果您有一个s带有字段s.a和的结构s.b，并且s.b是一个 2 x 2 矩阵，您可能会调用变量s_a, s_b_1_1, s_b_1_2,s_b_2_1和s_b_2_2- 可能不是理想的数据库设计，但您明白了。

您应该能够调整此答案中的代码和/或 MATLAB File Exchange 提交的flattenstruct2cell和flatten-nested-cell-arrays以满足您的需求。

推荐阅读