web-crawler - 网站如何知道它是无头 Puppeteer？

Question

当我访问目标网站时，我们将其命名为 foo.com，但我在youtube和其他几个热门网站上看到过这个。在非无头浏览器模式下，一切正常。但在无头模式下，我得到“抱歉，您的 javascript 已禁用，请重试”。不，它没有被禁用。他们如何对抗傀儡师？我尝试更改 UserAgent 字符串但无济于事。还有什么可能发生的？我还存储了 cookie/会话/等的完整状态。与木偶师。

标签： web-crawlerpuppeteer

Answer 1

const puppeteer = require('puppeteer-extra');
const StealthPlugin = require('puppeteer-extra-plugin-stealth');
puppeteer.use(StealthPlugin());