nutch - 如何在种子文件中添加 nutch1.17 新网址将 nutch 获取旧网址和新网址？

Question

如果我每天都有新的网址来抓取新的网址以及如何存储在 crawldb 中，我可以知道如何使用 nutch 工作。我是 nutch 的新手，请告诉我方法。

标签： nutch

Answer 1

可以随时使用注入命令将新 URL 添加到 Nutch 的 CrawlDb。然后在下一个生成-获取-更新周期中获取和处理新添加的 URL。