时间戳

首页 > 解决方案 > 从网站上抓取某些字段时无法继续单击下一页按钮

python - 从网站上抓取某些字段时无法继续单击下一页按钮

问题描述

我使用 python 与pyppeteer关联创建了一个脚本，以继续单击下一页按钮，直到没有更多内容为止。单击下一页按钮时的脚本会抛出pyppeteer.errors.TimeoutError: Navigation Timeout Exceeded: 30000 ms exceeded.指向此行的此错误await page.waitForNavigation()。name不过，它可以item_type从该站点的登录页面进行解析。我知道我可以发出带有适当有效负载的 post http 请求以从那里获取数据，但我的意图是pyppeteer在解析必填字段时使用并继续单击下一页按钮。

网站地址

import asyncio
from pyppeteer import launch

link = "https://www.e-ports.com/ships"

async def get_content():
    wb = await launch(headless=True)
    [page] = await wb.pages()
    await page.goto(link)

    while True:
        await page.waitForSelector(".common_card", {'visible':True})

        elements = await page.querySelectorAll('.common_card')
        for element in elements:
            name = await element.querySelectorEval('span.title > a','e => e.innerText')
            item_type = await element.querySelectorEval('.bottom > span','e => e.innerText')
            print(name.strip(),item_type.strip())

        try:
            await page.click("button.btn-next")
            await page.waitForNavigation()
        except Exception: break

if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    loop.run_until_complete(get_content())

顺便说一句，如果我第一次手动单击下一页按钮，它会成功完成其余部分。

标签： pythonpython-3.xweb-scrapingpuppeteerpyppeteer

解决方案

我不知道 Pypeteer 中的有效语法，但waitForNavigation可能是这个的常见语法。

await Promise.all([
   page.waitForNavigation(),
   page.click("button.btn-next")
])

承诺数组内的迭代器，所有方法都将在变为 true 或完成所需操作时解析。

推荐阅读