首页 > 解决方案 > 没有 SSL CERT 的网页抓取登录

问题描述

我在 python 中创建了一个网络抓取工具,用于为我们为他们分发的产品(经他们的许可)抓取各种供应商的库存数量。我有一个 VPS 服务器,想知道在没有经过验证的 SSL 证书的情况下抓取需要登录的供应商网站是否存在安全风险。Python 代码将存在于 VPS 服务器上。

一些供应商的 SSL 证书存在问题,导致程序失败,除非我verify=False在 python 获取请求中使用。

标签: pythonsslvps

解决方案


这取决于刮板的具体用例。SSL/TLS 用于保护端点(即您的爬虫和 Web 服务器)之间交换的数据不被嗅探和篡改。

如果没有传输敏感数据并且您不关心有人嗅探或修改数据,那么您可以禁用证书验证。但请确保您真的不在乎:您无法再确定您从服务器获得的数据确实是您请求的数据,因为中间人可能修改了您发送到服务器的请求和/或修改了来自服务器的响应,或者只是在不联系服务器的情况下做出自己的响应。


推荐阅读