首页 > 解决方案 > 如何使用 puppeteer 获取网页上的所有可点击元素?

问题描述

出于网络抓取的目的,我想找到网站上所有可以使用标签“a”访问的 URL。参考下面的脚本

   // Get all urls in the page
        let urls = await page.evaluate(() => {
            let results = [];
            let items = document.querySelectorAll('a');
            items.forEach((item) => {
                results.push({
                    url: item.href,
                });

            });

现在隐藏了一些 URL,可以通过单击页面上的元素来访问它们。如何使用 puppeteer 或 nodejs 获取页面上所有可点击元素的列表?

标签: javascriptnode.jspuppeteer

解决方案


推荐阅读