python - 抓取按下按钮后显示的嵌套值

Question

我正在尝试对页面上更多按钮下隐藏的内容进行网络抓取。这就是我现在所能召集的：

from selenium import webdriver
import time
browser = webdriver.Edge()
browser.get(url='https://myanimelist.net/animelist/Kropiciel?status=7')
time.sleep(2)
all_entries = browser.find_elements_by_class_name("list-item")

结果是一个列表，其中包含在单击项目的更多之前可以在页面上看到的内容。我实际上对存储，重看值，偏差分数等感兴趣，所有这些都在一个类td1 borderRBL中，请看图片。

由于我感兴趣的数据仅显示 whenstyle="display: table-row;而不是None，因此我一直在考虑使用.execute_script("arguments[0].removeAttribute('style')", )，正如selenium exceptions中所建议的那样，但我不确定这是否是正确的方法。

我遇到的另一个问题是all_entries导致列表只有 300 个，因为该站点最初仅加载 300 个条目。如果向下滚动，页面加载更多，但我不知道如何用 selenium 模拟它以检索完整列表。

标签： python