javascript - 如何在 NodeJS 网络爬虫上动态更改 IP 地址
问题描述
我正在从事一个从不同网站(博彩公司)抓取一些数据(赔率)的项目。由于他们的跟踪系统,有时我需要更改 ip(以便能够再次抓取他们的网站)。
我知道有一些服务可以帮助我解决这个问题,比如一些能够为我处理请求的 API(将我隐藏在网站之外)。但这些服务的问题在于,大多数服务没有意大利 IP,并且由于意大利对在线赌博的监管,我们只能押注意大利博彩公司,而且我们只能使用意大利 IP 访问它们)。
但我知道有些服务能够为我提供大量意大利 IP,我的想法是通过以下方式解决问题:
- 创建我的代理服务器来调用处理我的请求(在我需要时更改 IP 的服务器)。
- 实现一个能够更改我的抓取工具(具有抓取功能的服务器)发出的请求的 ip 的功能。
老实说,我不知道这些想法是否可以成为解决我的问题的有效解决方案,所以我的问题是:如何在我的代码中实现这些功能?如果这些选项无效,是否有我可以使用的解决方案或服务?(即使需要付款或订阅)。
预先感谢所有能够帮助我的人!
PS:我还在提高我的英语。我希望我尽可能正确 :) PS2:我正在使用带有 Selenium JavaScript 库的 NodeJS。
解决方案
推荐阅读
- tsql - 如何使用 SSIS 和 SQL 根据 excel 文件中存在的信息更改程序
- android - Android Studio 3.4.1 Layout 预览渲染问题
- r - 如何使用条件将数据添加到 ggplot 使其具有交互性?
- javascript - 进入新部分后旋转徽标
- c# - 使用 LINQ 转换带有索引的 for 循环
- git - 在同一文件中自动合并修改
- javascript - JS合并数组并划分合并值
- cassandra - Cassandra 有时会跳过 SELECT 查询中的记录
- angular - 如何等待谷歌地理编码返回响应?
- javascript - 使用键盘 (JS) 更改页面上的内容(使用图像)