seo - 允许 robots.txt 中的某些参数

Question

我的 robots.txt 中有这个，需要留在那里：

不允许： /*？

但是，我还需要 Google 索引在 url 末尾有 ?amp 的页面。像这样：

www.domain.com/product-name?amp=1

有没有办法允许robots.txt中的那些，但也保留前面提到的Disallow？

标签： seorobots.txt

Answer 1

引用 Google 的文档：

在组成员级别，特别是对于允许和禁止指令，基于 [path] 条目长度的最具体的规则胜过不太具体（较短）的规则。在规则冲突的情况下，包括带有通配符的规则，使用限制最少的规则。

这意味着如果允许 ?amp 但不允许其上方的文件夹，则应首先遵循更具体的规则并允许 amp 页面，但不允许层次结构中更高的任何内容。