python - python重复数据删除的高CPU和内存利用率

Question

我正在使用 dedupe 包运行 python 重复数据删除应用程序。我已经使用烧瓶和 gunicorn 部署了与 API 相同的 API。我在具有 128GB RAM 和 40 核配置的 linux 服务器上运行该应用程序。数据大小为 900000 时，CPU 资源会很快受到限制。由于它被限制得非常快，很多时候操作系统本身正在杀死应用程序。当内存消耗达到 50% 时，CPU 消耗处于全速状态。

我正在运行部署的 gunicorn 命令是

gunicorn main:app -b 0.0.0.0:XXXX --timeout=1200 -w 30

如何解决这个 CPU 使用率问题？

标签： pythonlinuxgunicorncpu-usagepython-dedupe