时间戳

首页 > 解决方案 > 在 robots.txt 的开头禁止所有机器人后，指定指令是否会创建异常？

search - 在 robots.txt 的开头禁止所有机器人后，指定指令是否会创建异常？

问题描述

案例如下：

User-agent: *
Disallow: /

User-agent: Googlebot
Disallow: /test

在这种情况下，Googlebot 能够完成它的工作吗？

我猜可能是因为该文件仅指定禁止 Googlebot 的 /test，所以 Googlebot 可以在除 /test 之外的其他目录上执行其工作的变化？

标签： searchseofrontendbackendsearch-engine

解决方案

问题：在这种情况下，Googlebot 能够完成它的工作吗？

回答：不是这种情况

User-agent: *
Disallow: /

问题：我想可能是因为该文件仅指定禁止 Googlebot 的 /test，所以 Googlebot 可以在除 /test 之外的其他目录上执行其工作的变化？

答案：是的

推荐阅读