python-3.x - 如何管理分布式系统中的速率限制？

Question

这就是我们的容器服务 WebApp 所做的：

• 接收多个pdf文件
• 将它们发送到 Azure OCR 服务（速率限制为每秒 10 个）
• 取回结果，进行一些处理并发回响应

问题：

在整个过程中，我们使用多处理将文件发送到 OCR 服务并接收回文件（在我们的例子中，Azure OCR 是异步的）。有时，当规模达到目标时，我们往往会超过 10 RPS 的限制。

可以做的一件事是，添加延迟。但是，我们用于容器服务的 WebApp 会在加载时自动缩放。

因此，它自动扩展的次数越多，需要的延迟就越高，因为由于服务器实例的增加，点击次数也会增加。

那么，处理这个问题的好方法是什么？

语言：Python

标签： python-3.xazurescale