web-crawler - 使用storm crawler可以同时运行多少个Crawler
问题描述
我正在开发 StormCrawler 1.10、原型 1.11 和 Elastic Search 6.4.x。可以同时运行多少个爬虫。
解决方案
爬虫 == 拓扑？只要他们有不同的名字，你想要多少就多少。为什么需要多个拓扑？您可以让一个处理多个站点
我正在开发 StormCrawler 1.10、原型 1.11 和 Elastic Search 6.4.x。可以同时运行多少个爬虫。
标签： web-crawlerstormcrawler
爬虫 == 拓扑？只要他们有不同的名字，你想要多少就多少。为什么需要多个拓扑？您可以让一个处理多个站点