seo - robots.txt 阻止除灯塔之外的所有内容
问题描述
我有一个临时站点,我希望能够通过谷歌灯塔进行测试 - 但不希望谷歌对其进行索引。
当我使用这个时:
User-agent: *
Disallow: /
灯塔和谷歌被封锁。
我认为用户代理是灯塔(source)的“Chrome-Lighthouse”,但我不确定如何编写robot.txt的语法。
有什么建议么?
解决方案
谢谢dbc链接给了我答案
useragent: *
disallow= /
useragent: Chrome-Lighthouse
allow= /
根据评论,它应该是:
User-agent: *
Disallow: /
User-agent: Chrome-Lighthouse
Allow: /