web-scraping - 如何让网络爬虫/爬虫/机器人“友好”？

Question

“友好”是指robots.txt[1 , 2]和<meta>tag之外的考虑因素：

• 尊重某些指标（例如，通过定期抓取来节省带宽，或避免大量同时或重复的请求）
• 透明度和问责制（即，使某人可以轻松查找有关其来源和目的的信息，例如this。这是否只能通过为User-Agent项目提供唯一的 HTTP 标头来实现？）
• 此列表中还应包括哪些内容？

标签： web-scrapingweb-crawlerrobots.txt