django-dynamic-scraper - Django Dynamic Scraper：自动大规模抓取大量 url #143
问题描述
我目前正在从事一个项目，其目标是以动态方式创建抓取工具，然后能够大规模处理大量 url。
例如，我在 DDS 中有两个网站：www.xxx.it与 Scraper IT 相关联，www.xxx.ca与 Scraper CA 相关联。
我想向 DDS 发送无限数量的 url，我希望 xxx.it/* 形式的所有 url 都被 Scraper IT 抓取，所有 xxx.ca/* 形式的 url 都被 Scraper 抓取加利福尼亚州。我希望这由 DDS 自动推断和完成。
有没有办法通过当前的实现来实现这一点？
解决方案
推荐阅读
- php - 共享函数/字段的 Laravel CMS 逻辑
- c# - NHibernate：如何使用 CreateSQLQuery 返回标量值列表（从一列）？
- odoo - Aeroo 报告行编号
- python - 美丽的汤没有获取所有的 html
- networking - {active, false}, {active, true} 和 {active, once} 有什么区别？
- python - 将 None 作为 pygame 中的位置处理
- firebase - 谷歌身份验证中的用户名颤动
- javascript - 在 javascript 中使用 filter() 方法查找数组中的最大数
- python - 如何解释聚类结果？
- cmake - CPack 禁用 add_subdirectory() 下不同项目的组件