javascript - Node.js 同步排队大量任务
问题描述
我正在使用 Puppeteer 开发 Node.js 抓取 API，它每天抓取超过 1000 个链接，我希望它能够自动执行此操作。
我正在寻找等待链接抓取功能在继续下一个抓取功能之前完成的任务队列。
我找到了使用 Redis 的 Bull.js。我正在使用 MongoDB 作为数据库，我不想运行另一个数据库。所以公牛不适合我。
有什么建议么？如果你能帮助我，我将不胜感激。
解决方案
推荐阅读
- android - 如何修复错误：由 XML 文件导致的错误膨胀类 android.widget.ProgressBar
- json - Qt5：创建 valideJSON
- php - TYPO3 9.5.7 / Extbase：在 flexform 中添加向导
- c++ - 如果不同翻译单元中的代码依赖于其构造的副作用，是否允许 LTO 删除未使用的全局对象？
- c# - 在 Visual Studio 2019 中激活 C# 的自动完成功能
- python-3.x - 使用熊猫将字典值映射到列
- solr - 在 solr core 中发布文档的问题
- reactjs - 需要提示：ReactJS 前端和 Springboot API 部署策略
- r - 当时间步长多于单位时，LSTM 中的过程看起来如何？
- git - 如何在 VSCode 中进行开发扩展？