python - Robotparser 返回错误的结果？

Question

我正在测试这个网站：

from urllib import robotparser
rp = robotparser.RobotFileParser()
rp.set_url("https://www.dealstreetasia.com/robots.txt")
rp.read()
rp.can_fetch("*", "https://www.dealstreetasia.com/?s=travel")

它返回“True”，但正如我从robot.txt 中猜测的那样，它必须返回“False”Robots.txt，如下所示： User-agent: * Disallow: /wp-admin/ Disallow: / ?s= Disallow: /search/禁止：/tag/ 禁止：/feed/ 禁止：/user/ 允许：/user/plans 允许：/user/newsletters 抓取延迟：1

你能给我一些关于这个案子的建议吗？谢谢！

标签： python