node.js - Puppeteer 无法在无头模式下抓取数据，但能够在非无头模式下抓取。怎么修？

Question

当我在模式下运行我的节点 API 时，headless: false它可以打开一个浏览器实例并且我可以获取数据。但是当我使用它时headless: true，它显示访问被拒绝并且不会抓取数据。我的代码如下。

(async () => {
const browser = await puppeteer.launch({
  headless: false
});
const page = await browser.pages();
await page[0].goto(url);

const my = await page[0].evaluate(() => {

  let title = document.getElementsByClassName('p-name')[0].innerHTML.trim();
  return title;
});
console.log(my);
res.status(200).json(my);
await browser.close();})(); 

我搜索了一个解决方案并找到了这个（Puppeteer 在非无头模式下打开一个空选项卡）。这无法完全解决我的问题。这帮助我关闭了打开的其他浏览器。提前致谢。

我想刮的这个网址是：https ://www.macys.com/shop/product/nike-big-boys-sportswear-t-shirt?ID=11252136&CategoryID=6086&swatchColor=Dark%20Gray%20Heather

标签： node.jsweb-scrapingpuppeteer

Answer 1

我认为您必须设置用户代理。

await page[0].setUserAgent("Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.75 Safari/537.36")

下面的代码对我有用。

const puppeteer = require("puppeteer")
async function test () {
const browser = await puppeteer.launch({
  headless: true
});
const page = await browser.pages();
await page[0].setUserAgent("Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.75 Safari/537.36")
await page[0].goto("https://www.macys.com/shop/product/nike-big-boys-sportswear-t-shirt?ID=11252136&CategoryID=6086&swatchColor=Dark%20Gray%20Heather");
await page[0].screenshot({path: 'screenshot.png'});
const my = await page[0].evaluate(() => {
  
  let title = document.getElementsByClassName('p-name')[0].innerHTML.trim();
  return title;
});
console.log(my);

await browser.close();
}; 

test();