时间戳

首页 > 解决方案 > 将python烧瓶应用程序上下文传递给rq作业的正确方法

python - 将python烧瓶应用程序上下文传递给rq作业的正确方法

问题描述

我创建了一个烧瓶应用程序，它实际上是一个新闻搜索应用程序。它目前提供许多路由，与 elasticsearch 集成以进行文档搜索和索引，并通过 Flask-SQLAlchemy 与 mySQL DB 集成。

该应用程序应允许登录用户搜索文档/文章，此时会触发弹性搜索并将结果返回给用户。这一切都有效。

我现在正在构建使用 RQ 和 Ajax 启动后台异步搜索的功能。现在我需要我的 RQ 来排队一个任务，该任务将搜索（调用一些 API）、更新我的数据库并更新我的 ES 索引。所有这些功能都已经在我的 Flask 应用程序中构建（搜索 API 调用、配置、DB ORM、ES 接口），因此我希望理想地重用所有这些功能。

我有一个 RQ 设置，它调用一个模块，然后尝试创建一个新的应用程序实例，以便我可以重用现有的 DB/ES 设置，但是当调用代码时我从 RQ 收到错误：

File "./news_functions.py", line 14, in <module>
    from app import create_app, db
ModuleNotFoundError: No module named 'app'

应用结构如下：

project
│   project.py   
│
└───app
│   │   __init.py__
│   │   config.py
│   │   models.py
│   │   classes.py
│   │   news_functions.py
│   │   .env
│   │
│   └───main
│       │   __init__.py
│       │   forms.py
│       │   views.py
│       │   ...
│   └───static
│       │   css, etc.
│   └───templates
│       │   templates
│   
└───migrations
    │   ... DB migrations here...
└───logs
    │   ... logs stored here

在我的 views.py 文件中，我尝试使用以下行将任务排队：

        job = current_app.task_queue.enqueue('news_functions.execute_search', jobKwargs)

这会导致我在烧瓶方面没有问题，但会在 RQ 工作人员上引发上述错误

File "./news_functions.py", line 14, in <module>
    from app import create_app, db
ModuleNotFoundError: No module named 'app'

在 news_functions.py 文件中，我尝试创建应用程序的一个实例，以便我可以通过以下导入和设置重用我的模型等，这似乎引发了错误：

from app import create_app, db

app = create_app()
app.app_context().push()

我认为问题在于我正在尝试从 app 文件夹本身导入 create_app，但我不知道我的其他选项是什么。如果我向上移动一个文件夹，则 RQ 作业无法将任务排队，因为它超出了应用程序的范围。

我不确定我是否以正确的方式处理这个问题，但我实际上希望能够重用应用程序配置、flask-sqlalchemy、es setup 在后台执行这个额外的任务。

希望有意义，有人可以提供帮助！

标签： pythonflaskredisrq

解决方案

在完全拔掉头发之后，我意识到我已经从应用程序目录本身而不是主目录中启动了 RQ 工作程序，这意味着它实际上是在“应用程序”文件夹中寻找一个名为“应用程序”的模块，即应用程序。 app.news_functions 显然不存在。

在拔掉头发两天后，我得到了明确的教训，为什么我不能导入我知道存在的模块！

总是检查你的工作目录，孩子们！

推荐阅读