puppeteer - 用于抓取的 Puppeteer JS 标头
问题描述
我试图找出如何将标题添加到 puppeteer js。我是第一次构建一些东西,所以我对此并不熟悉。
如果根据文档使用这些设置我的文件,但我不确定我是否正确执行此操作:
await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36');
await page.setExtraHTTPHeaders({Referer: 'https://example.com/'});
除了我搜索过的教程没有添加标题。
我想添加标题以复制真实用户在我的情况下我想复制我的浏览器,就好像我手动使用它一样。这样做的正确方法是什么?
解决方案
这对我有用,当 puppeteer 访问该站点时,默认设置为英语。
await page.setExtraHTTPHeaders({'Cookie': 'language=en'});
在浏览器中,您将找到您的数据。
推荐阅读
- .net - MSIL 代码和机器代码比较 (.NET)
- r - 获取错误没有适用于“as.raster”的方法应用于“shiny.tag”类的对象
- react-native-web - React Native Web 中可访问且可设置样式的按钮?
- python - 下拉菜单无法使用 Kivy 语言
- python - 填写缺失的日期值并根据前一行填充第二列
- bazel - 如何通过“ctx.actions.run(...)”调试由 Bazel 规则执行的“java_binary”目标?
- python - 图像处理 剪切与图案不同的区域
- c# - 有人能告诉我为什么 (return DayName;) 会导致错误,因为它是一个未分配的局部变量吗?
- apache-kafka - Kafka 消费者向代理发送更多获取请求
- sql - 在 Where-In SQL-Oracle 中传递多个参数