首页 > 解决方案 > Apache Solr 与 MySQL 的集成

问题描述

我是使用 Apache Nutch 进行网络爬网的新手,如果这是一个基本问题,我深表歉意。我正在尝试使用 Apache Nutch 1.X 抓取数据。最终目的是将爬取的数据保存到 MySQL 中,页面上的“标题”、“描述”、“位置信息”等字段将保存到 MySQL 数据库的列中。

我已经成功安装了Apache Nutch 1.X,并与Solr集成,并且也进行了爬取,所以我的数据已经在Solr中被索引了。

我现在的困惑是如何将这些数据导入 MySQL,或者只是查看和处理来自 Solr 或 Nucth 的数据。尽管 Solr 中的索引令人印象深刻,但我仍然需要获取更多字段并将数据移出以在另一个代码中进行处理(我也在汇总数据),并将这些数据存储在 MySQL 中,它包含所有我们项目的数据。

任何帮助将不胜感激

标签: mysqlsolrweb-crawlernutch

解决方案


推荐阅读