python - 没有 SSL CERT 的网页抓取登录
问题描述
我在 python 中创建了一个网络抓取工具,用于为我们为他们分发的产品(经他们的许可)抓取各种供应商的库存数量。我有一个 VPS 服务器,想知道在没有经过验证的 SSL 证书的情况下抓取需要登录的供应商网站是否存在安全风险。Python 代码将存在于 VPS 服务器上。
一些供应商的 SSL 证书存在问题,导致程序失败,除非我verify=False
在 python 获取请求中使用。
解决方案
这取决于刮板的具体用例。SSL/TLS 用于保护端点(即您的爬虫和 Web 服务器)之间交换的数据不被嗅探和篡改。
如果没有传输敏感数据并且您不关心有人嗅探或修改数据,那么您可以禁用证书验证。但请确保您真的不在乎:您无法再确定您从服务器获得的数据确实是您请求的数据,因为中间人可能修改了您发送到服务器的请求和/或修改了来自服务器的响应,或者只是在不联系服务器的情况下做出自己的响应。
推荐阅读
- ios - AdMob 横幅会在首次加载时出现在首页指示器下方,并且不时出现
- javascript - 提交不断刷新DOM
- c - sarq 和 shrq 的区别
- sql - 删除 SQL 结果中的 SUM 列
- python - 反向列表和添加问题
- javascript - 我无法在 Vue Web JS 中为侧边栏附加我的外部/自定义 JS
- matlab - 具有两个条件的移动窗口 - Matlab
- python - 根据条件创建一个可以等于许多列之一的新列(熊猫)
- java - com.sun.xml.bind:jaxb-impl:2.2.7-b41 在 Weblogic 12.2.1.3 上不兼容
- android - VerticalScroller 在 Column 小部件中不起作用