tweepy - 处理大型查询的分页失败
问题描述
我正在尝试在拥有数万粉丝的帐户上获取有关粉丝的信息。有哪些技术可以成功提取所有数据?
我正在使用分页并捕获 tweepy.RateLimitError 它连接失败会导致整个过程崩溃。
有没有一种方法可以从中断的地方继续查询,而不是每次都从头开始。提取数十或数百个结果时没什么大不了的,但是当提取数万或数十万个结果时,每次都必须重新开始意味着您永远不会真正获得所有数据。
解决方案
推荐阅读
- validation - Spring 在转换后验证控制器参数。它可以在转换前验证吗?
- performance-testing - Grafana 中的磁盘 IO 利用率和磁盘 IO 饱和度有什么区别?
- javascript - 如何从另一个函数访问参数以在 JavaScript 中验证它们
- kotlin - 与 CoroutineScope() 工厂函数一起使用的调度程序
- python - 我是否需要加载我在 NN 类中使用的另一个类的权重?
- python - 在网站中搜索产品 - Scrapy
- bash - Bash - case 语句总是输入默认值
- spring-boot - 断点在 Eclipse 上的 Spring Boot Webapp 上不起作用
- sql - 我正在尝试将复杂的 SQL 查询转换为 MongoDB 查询,但是在为连接的结果集添加条件时失败
- flutter - 如何在 Flutter 运行时从另一个类更新 Drawer 的 UserAccountsDrawerHeader 详细信息?