python - 网页抓取和代理类型
问题描述
框架：Scrapy。
我目前正在使用网络爬虫，但我与服务器断开连接。刮板将（最终）刮掉 100k 到 150k 页面，每个页面包含 11 个字段，这些字段包含将被刮掉的数据。
我的想法是刮刀每月使用一次。
完成后数据库的估计大小在 200mb 到 300mb 之间（不考虑带宽）。
我不知道我是否需要为此付费代理，或者我是否可以使用免费代理。
任何建议（或我需要的代理提供者）都将受到极大的欢迎。
解决方案
推荐阅读
- python - 共享脚本不执行
- linux - 如何使用 telegraf procstat 插件获取进程名称和进程状态（运行或停止）
- julia - 如何评估定义和调用宏的 Julia 表达式？
- python - 需要为等待执行某些操作的函数添加上限
- php - 扩展 Spatie 角色模型但使用不同的数据库表
- r - 使用 if else 语句按组最后出现的特定值
- elasticsearch - 按计数聚合，然后从弹性搜索查询中获取中间桶
- php - 如何添加上传 PDF 文件的功能？
- python - 如何使用 PySpark 在 spark.read.csv 的路径中传递变量
- javascript - 保持数据重新加载Angular 8