apify - 如何在 apify 中使用代理和基本爬虫
问题描述
我在 apify 中使用基本爬虫，如何使用代理。基本爬虫中没有代理选项或有其他使用代理的方法？
解决方案
基本爬虫基本上只是一个爬虫框架，没有自己的资源请求能力，所以如果你想确定使用它，那么你需要从handleRequestFunction使用 Node.js 的一些 3rd 方请求库中手动执行请求。然后您可以在库选项中指定代理。
如您所见，与其他爬虫不同，基本爬虫选项中没有代理配置：https ://sdk.apify.com/docs/typedefs/basic-crawler-options
如果您希望它自己执行请求，您可以使用另一个爬虫，并且您可以在爬虫的选项中指定代理：
推荐阅读
- python - 在 pyspark DataFrame 上应用 VarianceThreshold 特征选择技术
- javascript - Uncaught (in promise) TypeError: tf.sequential is not a function
- c# - .NET Core Entity Framework 播种数据关系
- python - 当不同用户调用相同函数> 10次时如何使用python读取和写入文件
- javascript - 在 ReactJS 中保存动态表单中的值
- svg - FFImageLoading - Xamarin Android, set TintTransformation for svg
- c++ - 在列中添加名称，城市，爱好，按爱好排序的小项目c ++
- java - 尝试使用 JUnit、Mockito 测试 Spring MVC 控制器方法时出现 NullPointerException
- python - 在调用另一个函数之前等待一个函数完成执行
- flutter - 如何获得最顶部的屏幕路线名称