python - 协助芹菜伐木
问题描述
所以 Celery 是一个非常棒的库,但它的日志记录部分的文档并不是最好的,这让我来到这里寻求帮助。
到目前为止,我的脚本是这样的(总结得很好):
import logging
from celery import Celery
from celery.utils.log import get_logger
from task import process
import config
logger = get_logger(__name__)
timber_handler = timber.TimberHandler(api_key=config.key,
level=logging.INFO)
logger.addHandler(timber_handler)
app = Celery('task',
broker=config.url,
backend='rpc://')
@app.task
def run_task():
status = get_status() # get alive or dead status
if status == 1:
logger.info("Task is running")
process()
@app.on_after_configure.connect
def task_periodic(**kwargs):
app.add_periodic_task(2.0, run_task.s(), name="Run Constantly")
# More tasks
tasks.py 文件中的 process 函数是非常基本的函数,可以通过 API 和 DB 获取一些信息,我希望能够将其记录到附加到 python 日志库并且是在线存储的记录器(timber.io)中对于日志。
但是,我的主要问题是原木被发送到标准输出而不是原木。我看过 celery.signals 但文档不是很好。这里的任何帮助将不胜感激。谢谢你。
解决方案
你能试试这个吗?
import logging
import os
import sys
from celery import Celery
from celery.signals import after_setup_logger
app = Celery('app')
app.conf.update({
'broker_url': 'filesystem://',
'broker_transport_options': {
'data_folder_in': './broker/out',
'data_folder_out': './broker/out',
'data_folder_processed': './broker/processed'
},
'result_persistent': False,
'task_serializer': 'json',
'result_serializer': 'json',
'accept_content': ['json']})
logger = logging.getLogger(__name__)
for f in ['./broker/out', './broker/processed']:
if not os.path.exists(f):
os.makedirs(f)
@after_setup_logger.connect
def setup_loggers(logger, *args, **kwargs):
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
# add filehandler
fh = logging.FileHandler('logs.log')
fh.setLevel(logging.DEBUG)
fh.setFormatter(formatter)
logger.addHandler(fh)
@app.task()
def add(x, y):
logger.info('Found addition')
logger.info('Added {0} and {1} to result, '.format(x,y))
return x+y
if __name__ == '__main__':
task = add.s(x=2, y=3).delay()
像这样启动工人:
celery worker --app=app.app --concurrency=1 --loglevel=INFO
并异步启动任务:
python app.py
我已对其进行了更改,因此它是一个独立的脚本,仅将文件系统用作消息代理(另外,我故意将 wood.io 处理程序替换为文件处理程序)。
这会将日志写入logs.log
(用 wood.io 处理程序替换文件处理程序,这应该可以解决您的问题)。
我遇到了一些困难,因为我无法使用它worker_hijack_root_logger=False
并且在setup_logging
.
但是,在重新访问文档后,我得出的结论是,不覆盖记录器而是增加它是一个更好的选择:
如果你想通过 Celery 增加日志配置设置,那么你可以使用 after_setup_logger 和 after_setup_task_logger 信号。
另见:http ://docs.celeryproject.org/en/latest/userguide/signals.html#after-setup-logger
推荐阅读
- git - Gitlab CI 从项目 A 推送到项目 B
- regex - 字符串必须是字母数字并包含某个子字符串
- excel - 是否可以在 Excel 中的代码中更新 Power Query 数据源数据库连接?
- reactjs - 如何使用 react-native-testing-library 使用选择组件测试表单
- quarkus - Quarkus 原生图像大小
- ios - 如何在 Xamarin IO 中每隔一定时间间隔安排一个任务?
- amazon-web-services - 从 S3 存储桶获取数据
- javascript - 如何更改表单的日期输出
- rust - 为什么rust认为借用在其他分支中很活跃
- python - Python中异常处理中的异常