parsing - 从动态变化的 url 源解析表

Question

我想从下面的 url 解析跨越许多页面的表格

https://www.marketscreener.com/tools/stock-screener/

但是，页面 url 地址会在每次点击时动态变化（即使表中的数据保持不变）。我不太熟悉最近的网站/网页开发技术。我有一些经验，requests/lxml.xpath但是如何将动态 url 地址传递给“ requests.get”我试图从Networkchrome 的选项卡中获取源容器，但这似乎也不起作用。

编辑_1：

除了@Andrej Kesely 评论，基本上我想要的输出是.//table//tbody/td/tr//a href我可以通过常规lxml.xpath函数获得的 href 数据。在此之前，我真正面临的挑战是 url 地址不断变化。所以，我在requests.get级别传递静态 url 时遇到了麻烦。希望我说清楚。

标签： parsingweb-scrapingbeautifulsouppython-requestslxml