首页 > 解决方案 > 如何在 NodeJS 网络爬虫上动态更改 IP 地址

问题描述

我正在从事一个从不同网站(博彩公司)抓取一些数据(赔率)的项目。由于他们的跟踪系统,有时我需要更改 ip(以便能够再次抓取他们的网站)。

我知道有一些服务可以帮助我解决这个问题,比如一些能够为我处理请求的 API(将我隐藏在网站之外)。但这些服务的问题在于,大多数服务没有意大利 IP,并且由于意大利对在线赌博的监管,我们只能押注意大利博彩公司,而且我们只能使用意大利 IP 访问它们)。

但我知道有些服务能够为我提供大量意大利 IP,我的想法是通过以下方式解决问题:

  1. 创建我的代理服务器来调用处理我的请求(在我需要时更改 IP 的服务器)。
  2. 实现一个能够更改我的抓取工具(具有抓取功能的服务器)发出的请求的 ip 的功能。

老实说,我不知道这些想法是否可以成为解决我的问题的有效解决方案,所以我的问题是:如何在我的代码中实现这些功能?如果这些选项无效,是否有我可以使用的解决方案或服务?(即使需要付款或订阅)。

预先感谢所有能够帮助我的人!

PS:我还在提高我的英语。我希望我尽可能正确 :) PS2:我正在使用带有 Selenium JavaScript 库的 NodeJS。

标签: javascriptnode.jsweb-scrapingproxyip

解决方案


推荐阅读