python - 如何在 Python 中的多个异步进程之间进行同步？

问题描述

我有一个使用 fastapi 的异步 http web 服务。我在不同端口上的服务器上运行同一服务的多个实例，并且前面有一个 nginx 服务器，因此我可以全部使用它们。我有一个特定的资源需要保护只有一个客户在访问它。

@app.get("/do_something")
async def do_something():
     critical_section_here()

我试图使用这样的文件锁来保护这个关键部分：

@app.get("/do_something")
async def do_something():
    with FileLock("dosomething.lock"):
        critical_section()

这样可以防止多个进程同时进入临界区。但我发现这实际上会死锁。考虑以下事件：

客户端 1 连接到 8000 端口并进入临界区
当客户端 1 仍在使用资源时，客户端 2 被路由到同一个端口 8000，然后它会尝试获取文件锁，但它不能，所以它会继续尝试，这将阻止客户端 1 的执行，客户端 1 永远不会能够释放文件锁，这意味着不仅该进程被锁定，所有其他服务器实例也将被锁定。

有没有办法让我协调这些过程，以便只有其中一个访问关键部分？我考虑过为文件锁添加超时，但我真的不想拒绝用户，我只想等到轮到他/她进入临界区。

标签： pythonmultiprocessingsynchronizationpython-asynciofile-locking

你可以尝试这样的事情：

import fcntl

from contextlib import asynccontextmanager

from fastapi import FastAPI

app = FastAPI()


def acquire_lock():
    f = open("/tmp/test.lock", "w")
    fcntl.flock(f, fcntl.LOCK_EX)
    return f


@asynccontextmanager
async def lock():
    loop = asyncio.get_running_loop()
    f = await loop.run_in_executor(None, acquire_lock)
    try:
        yield
    finally:
        f.close()


@app.get("/test/")
async def test():
    async with lock():
        print("Enter critical section")
        await asyncio.sleep(5)
        print("End critical section")

它基本上会序列化您的所有请求。

python - 如何在 Python 中的多个异步进程之间进行同步？

问题描述

解决方案

推荐阅读