azure - Azure 搜索 - 亮点 - 在图像中定位

Question

只是在此处寻找指导甚至是有关方法的一般概述。

我正在使用 azure search 对一批 pdf 进行 OCR。我已经打开了点击突出显示，并且我成功地获得了结果，我正在为最终用户循环/显示在我的视图中。我正在考虑扩展该功能以显示pdf 图像，并在图像本身上突出显示，就像在 JFK azure 示例中一样。我不精通反应，似乎在那里迷路了。

我假设我需要使用创建的 normalized_images 将 OCR 图像保存到数据存储中以供参考？我在本地确实有可以加载的 pdf，但假设 OCR 图像可能不同。已打开 GeneratedNormalizedImagesPerPage 并打开在我的存储帐户中创建文件的缓存。

然后我假设我需要拉相关联的图像，显​​示它，使用突出显示结果并拉出检测到短语的相应边界框？这种方法的问题是，我看不到高光命中与命中位置（边界框）之间的任何关联，也看不到命中所在的关联图像文件。

可能在此处接近方法，但任何指导表示赞赏。

编辑 1 我确实注意到 JFK 示例中此页面上的项目： https ://github.com/microsoft/AzureSearch_JFK_Files/tree/master/JfkWebApiSkills/JfkWebApiSkills 将尝试复制 ImageStore（因此这些存储在我的存储帐户中）然后将 HocrGenerator （似乎处理文档中的点）放入我的技能集以作为我的索引的方法？

标签： azurelocationhighlightazure-cognitive-search

Answer 1

这里有几个步骤：

1. 您需要将 OCR 技能中的layoutText保存在 UI 可以访问的位置。JFK Files 演示将其转换为 HOCR（以显示在 UI 中）并将其作为索引中的字段保存在索引中，以便在搜索结果中检索它。HOCR 不是必需的，您可能会发现使用知识存储对象投影将布局存储在 blob 中更有效。

2. 使用文件投影到知识存储中将提取的图像保存到 blob 存储中。请记住，图像可能会在此过程中调整大小，并且坐标将与保存到商店的调整大小的图像相匹配。如果要将坐标映射到原始图像，请参见this。

3. 在搜索时，将突出显示映射到元数据。您将在 nodejs 前端找到此代码，但在原始演示中遵循此处的代码可能更简单。本质上，您只需在元数据中找到突出显示的单词的第一次出现，显示相关图像，并计算单词的边界区域。