java - Apache Solr - 索引 ZIP 文件
问题描述
我的网络应用程序是一个电子邮件服务。它将电子邮件信息存储在 MySQL 数据库中,电子邮件附件存储在磁盘上。
数据库类似于:
----------------------------------------------------------------------
| id | sender | receiver | subject | body | attach_dir | attachments |
----------------------------------------------------------------------
| 2 | 444 | 555 | Apples | Hey! | /mnt/emails| att1.doc\r\n|
| | | | | | | att2.doc\r\n|
----------------------------------------------------------------------
| 3 | 77 | 22 | Pears | Hola!| /mnt/emails| att1.zip\r\n|
----------------------------------------------------------------------
我使用以下 data-config.xml 对其进行索引:
<dataConfig>
<dataSource name="mysql"
type="JdbcDataSource"
driver="com.mysql.jdbc.Driver"
url="jdbc:mysql://localhost:3306/email?
useUnicode=true&
characterEncoding=UTF-8&
useTimezone=true&
serverTimezone=UTC"
user="user"
password="pass"/>
<dataSource name="files"
type="BinFileDataSource" />
<document>
<entity name="email" dataSource="mysql"
query="SELECT id, subject, body, date, attach, attach_dir FROM email"
transformer="RegexTransformer"
>
<field column="id" name="id"/>
<field column="subject" name="subject"/>
<field column="body" name="content"/>
<field column="date" name="last_modified"/>
<field column="attach" name="attach" splitBy="\r\n" />
<field column="attach_dir" name="attach_dir"/>
<entity name="attach_glob" dataSource="null"
processor="FileListEntityProcessor"
baseDir="/mnt/attach/${email.attach_dir}" fileName=".*"
recursive="false" onError="skip">
<entity name="email_attachment" dataSource="files"
processor="TikaEntityProcessor"
url="${attach_glob.fileAbsolutePath}">
<field column="text" name="attach_content"/>
</entity>
</entity>
</entity>
</document>
</dataConfig>
这适用于除压缩文件(如.zip
. 对于.zip
文件,该attach_content
字段仅填充 zip 存档中的文件名,而不是从 zip 存档中提取的文件的内容。
但是,如果我SimplePostTool
这样使用:
/opt/solr/bin/post -c mycollection /mnt/attach/message3/att1.zip
然后我从 zip 存档中的所有文件中提取所有内容,这就是我需要的。但我需要此内容成为数据导入处理程序使用上面的 data-config.xml 添加的文档的一部分。
这可能吗?
解决方案
您需要在 TikaEntityProcessor 配置上将 extractEmbedded设置为true,以便在 Apache Tika ParseContext中设置适当的 Parser以解析嵌入的文档。
例如,您可以将问题中的配置更改为如下所示:
<entity name="email_attachment" dataSource="files"
processor="TikaEntityProcessor"
url="${attach_glob.fileAbsolutePath}" extractEmbedded="true">
<field column="text" name="attach_content"/>
</entity>
有关更多详细信息,请参见此处。
推荐阅读
- ruby-on-rails - 如何避免 bootsnap 和 railties 导致此错误?
- python-3.x - 如何在 pandas 中用 null 替换空字符串?
- python - netmiko:send_config_from_file:显示设备证书时执行中断
- javascript - JavaScript - 通过 websocket 将 ArrayBuffer 数据发送到后端 [guacamole]
- rust - 如何在rust中将u128转换为u64?
- html - Bootstrap 年数自动递增
- spring-boot - SpringBoot-JPA:“传递给持久化的分离实体”-OneToMany 双向
- git - 我可以在 git 中使用基于 ID 的 GitHub 提供的 noreply 地址吗?
- shell - 如何在 shell 脚本上使用 gnuplot 命令
- javascript - C3.js 水平条形图 - 与条形一起突出显示特定的 x 轴刻度