python - 我应该为 python 爬虫使用无限循环还是 cron 作业？
问题描述
我用 python 编写了一个爬虫，它可以访问 60 多个网站，解析 HTML，并将数据保存到数据库。
现在我正在使用 cron 作业每 15 分钟运行一次爬虫。问题是我无法告诉爬虫完成需要多少时间（有时可能需要超过 15 分钟），如果一个爬虫已经在运行，我不想运行另一个爬虫。
我一直在想我是否会更好地使用无限循环并使爬虫成为一个始终运行的永久进程（但是我如何确保爬虫不会失败并退出？以及如何在每次退出时重新启动它？） .
哪个效率更高？无限循环或cron作业？
解决方案
推荐阅读
- java - .jar 文件在控制台上运行时会播放声音，但双击时不会
- sql - 如何获得格式为 MM/DD/YYYY 的最新日期订单
- php - 带有自定义类的 PHP array_filter 过滤带有时间戳的数组
- javascript - 是否可以使用 javascript 获取本地打印机？
- php - 函数给了我原始列数据（Laravel）
- wso2 - 来自属性文件的 WSO2 属性中介值
- c - 我将 C 代码转换为 CPU 指令是否正确？
- arrays - Delphi中数组的空闲内存
- swift - 导航到另一个 xib 时未在 AppKit（主）线程问题上运行
- git - git：拒绝获取当前分支 - bitbake