web-scraping - 尽管我传递给它的 URL 不同，但 Python 中的 requests 模块给了我相同的页面
问题描述
你好！
有人可以告诉我为什么使用requests.get(url)不同的网址我得到相同的页面。故事是：我正在抓取网页以查看品牌的产品。因此，我正在根据页面中的品牌列表生成 url（我正在使用 检索它们xpath）。对于其他页面，它可以工作，但是对于这个页面则不行。所以我徘徊也许有一种防止刮页面的保护？就像我在 chrome 中粘贴这些生成的 url 时一样 - 它为我提供了包含我需要的特定品牌产品requests.get的页面。但是我最终在同一页面上。另外——也许你可以分享易于掌握的信息请求是如何工作的？它如何到达页面源？
非常感谢贡献者！