python - 在网站上加载更多数据 Python Selenium

Question

我有一个不一定与我的代码相关的问题，因为它似乎可以工作，但我正在尝试抓取一个网站。它没有给我更多的数据。我要做的是单击“加载更多”按钮，直到没有更多数据为止。有 20000 个结果，每个负载 50 个。所以这个按钮需要被点击 400 次。大约 100 次点击后，程序点击了按钮，但网站不再加载任何数据。我现在的问题是：网站会限制我可以加载多少数据吗？我的硬件是否对这个问题负责，也就是我的 RAM 可能无法处理数据吗？我是 python 抓取的新手，所以非常感谢任何帮助。

标签： pythonselenium