python - Webscraping - 滚动在熊猫中的硒中不起作用

Question

我正在尝试从 csv 文件获取链接的位置抓取数据，然后滚动到页面底部，然后执行提取。现在观察它做了什么，打开链接后它不会滚动到页面底部，而是快速打开下一个链接等等，因此没有任何数据被刮掉。我的代码工作正常，但我无法理解为什么网页不滚动这是我的代码，它获取链接并滚动到页面底部 -

# ----------gets a link from csv----------

df_link = pd.read_csv('newtest1.csv')
for links in df_link.iterrows():
    link = links[1]['Col']
    driver.get(link)
    print(link)

#------starts scrolling-----------

    height = driver.execute_script("return document.body.scrollHeight")
    for scrol in range(100,height,100):
        driver.execute_script(f"window.scrollTo(0,{scrol})")
        time.sleep(0.3)
    src = driver.page_source
    soup = BeautifulSoup(src, 'lxml')

只是为了检查页面是否滚动，我只是print('scrolled')在滚动代码之后给出一个语句，它打印了几次，这意味着滚动代码正在执行

请帮助我滚动页面

谢谢！！！

标签： pythonpandas