javascript - 如何使用 Puppeteer 返回不在页面源中的元素
问题描述
我正在尝试使用以下代码从页面返回一些信息来选择页面元素并在其中返回一些值:
const puppeteer = require('puppeteer');
function run (numberOfPages) {
return new Promise(async (resolve, reject) => {
try {
if (!numberOfPages) {
numberOfPages = 1;
}
const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.setRequestInterception(true);
page.on('request', (request) => {
if (request.resourceType() === 'document') {
request.continue();
} else {
request.abort();
}
});
await page.goto('https://careers.google.com/jobs/results/');
let currentPage = 1;
let urls=[];
while (currentPage <= numberOfPages) {
await page.waitForSelector('a.gc-card');
let newUrls = await page.evaluate(() => {
let results = [];
let items = document.querySelectorAll('a.gc-card');
items.forEach((item) => {
results.push({
jobTitle: item.innerText,
url: item.getAttribute('href')
});
});
return results;
});
urls = urls.concat(newUrls);
if (currentPage < pagesToScrape) {
await Promise.all([
await page.waitForSelector('a.gc-link gc-link--on-grey gc-action-group__item gc-h-larger-tap-target'),
await page.click('a.gc-link gc-link--on-grey gc-action-group__item gc-h-larger-tap-target'),
await page.waitForSelector('a.gc-link gc-link--on-grey gc-action-group__item gc-h-larger-tap-target')
])
}
currentPage++;
await page.waitFor(500);
}
browser.close();
return resolve(urls);
} catch (e) {
return reject(e);
}
})
}
run(1).then(console.log).catch(console.error);
我可以在开发工具中使用检查,gc-card
当页面加载时,该类存在于 dom 中,但由于某种原因await page.waitForSelector('a.gc-card');
,每次运行代码时都会超时。不完全确定原因,但认为这可能与通过脚本加载的页面的大部分页面主体有关。
期望的结果是返回一个包含页面上所有职位和 URL 的数组。
解决方案
您甚至请求中止站点需要运行的所有 javascript 文件。
page.on('request', (request) => {
if (request.resourceType() === 'document') {
request.continue();
} else {
request.abort();
}
});
而不是只允许一个文件以消极的方式思考并停止你确定你不需要的请求。
推荐阅读
- python - 难以绘制 3D 数据,plot_wireframe python matplotlib
- python - 如何为 Google 的 OR-Tools Job Shop 问题添加空闲时间?
- mysql - 在 SQL 中将表中的列添加到另一个表中
- laravel - Laravel Aimeos 包强制产品属性
- java - 无法通过 NiFi 在 Groovy 中获取 HTTP 请求的错误消息
- javascript - firestore set operator 不添加任何文档
- python - 字节的Python字符串(?)到字节
- java - 如何避免多对一映射中相同值的重复行 - Hibernate
- javascript - 让 rails webpacker 仅在特定视图中应用 javascripts(包括纱线管理的和非纱线管理的)
- python - subprocess.Popen("bash file.sh"): 如何杀死 Bash 脚本及其所有后台作业