logging - 将转发的 rsyslogs 写入 journald 以便能够通过 SYSLOG_IDENTIFIER 过滤它们?
问题描述
你好 StackOverflow 神/常客/用户!
我目前正在为我的服务器上运行的两个应用程序开发一个日志系统。
这是上下文:
- 服务器 dev1:Ubuntu 服务器 18.04(全新安装)
- 正在运行 systemd.service algo-ep
[单元] 说明="算法 EP" [服务] 类型=简单 用户=我 工作目录=/home/me/bin ExecStart=/home/me/bin/AlgoEp 标准输出=系统日志 标准错误=系统日志 SyslogIdentifier=dev1_algo_ep [安装] WantedBy=多用户.target
- 正在运行另一个 systemd.service algo-mdw
[单元] 描述="算法 MDW" [服务] 类型=简单 用户=我 工作目录=/home/me/bin ExecStart=/home/me/bin/AlgoMdw 标准输出=系统日志 标准错误=系统日志 SyslogIdentifier=dev1_algo_mdw [安装] WantedBy=多用户.target
- 服务器 dev2:Ubuntu 服务器 18.04(新安装)
- 正在运行 systemd.service algo-ep
[单元] 说明="算法 EP" [服务] 类型=简单 用户=我 工作目录=/home/me/bin ExecStart=/home/me/bin/AlgoEp 标准输出=系统日志 标准错误=系统日志 SyslogIdentifier=dev2_algo_ep [安装] WantedBy=多用户.target
当我使用 journalctl (systemd-journal) 在 dev1 上 ssh 时,我希望能够读取每个服务的日志。
像这样:journalctl -t dev1_algo_ep -t dev1_algo_mdw -t dev2_algo_ep
所以,我rsyslog.d/algo-ep.conf
在 dev2 上添加了一个:
if $programname == 'dev2_algo_ep' then {
action(type="omfwd"
queue.type="linkedlist"
queue.filename="algo_fwd"
queue.saveOnShutdown="on"
action.resumeRetryCount="-1"
target="dev1" port="514" protocol="tcp"
)
}
并rsyslog.d/algo.conf
在 dev1 上添加:
module(load="imtcp")
module(load="omjournal")
ruleset(name="remote-dev2") {
action(type="omjournal")
}
input(type="imtcp" port="514" ruleset="remote-dev2")
在这一点上,没问题,我在 journalctl 中得到了以下内容journalctl -r
:
Nov 23 13:27:47 dev1 dev2_algo_ep[3142]:[15246]: Ep Server listening on localhost:10001...
Nov 23 13:27:47 dev1 dev2_algo_ep[2421]:[15246]: Ep Server stops...
[...]
但是当我尝试时journalctl -t dev2_algo_ep
:
me@dev1:~$ journalctl -t dev2_algo_ep
-- Logs begin at Fri 2018-06-01 13:54:11 CEST, end at Fri 2018-11-23 13:27:47 CET. --
me@dev1:~$
因为接收到的日志的 SYSLOG_IDENTIFIER 被设置为dev2_algo_ep[3142]:
而不是dev2_algo_ep
.
所以,我的问题:有没有办法,神奇或明显
- 使用特定的 SYSLOG_IDENTIFIER 将日志从 dev2 导出到 dev1 ?
- 还是在 dev1 上接收日志并在将其发送到 journald 之前设置特定的 SYSLOG_IDENTIFIER?
- 或者干脆这样做?
提前感谢您的建议、帮助和信息!
[编辑] 混合 rsyslog + journald 似乎鲜为人知。我在手册页中没有找到任何内容(除了可以创建模板以在 dev1 的接待处重建日志,但对我来说看起来很奇怪)。
解决方案
选项1,因为您已经从 journalctl 获取日志,您可以使用 json 格式检查您想要的行的字段,例如检查SYSLOG_IDENTIFIER
字段中的值。
以下行显示SYSLOG_IDENTIFIER
的是nginx
,所以你可以使用journalctl -t nginx
journalctl -o json
{ "__CURSOR" : "s=00000000000000000000000000000000;i=146c8;b=170127f0cd5441a3bea76fe326915bd0;m=bb5bba879;t=590367fad5ace;x=33cdab5cd2077705", "__REALTIME_TIMESTAMP" : "1565938628254414", "__MONOTONIC_TIMESTAMP" : "50293614713", "_BOOT_ID" : "170127f0cd5441a3bea76fe326915bd0", "_SELINUX_CONTEXT" : "unconfined\n", "_SYSTEMD_SLICE" : "system.slice", "_MACHINE_ID" : "4211ff3f594041f3966d836585a11a05", "_HOSTNAME" : "VM-0-4-ubuntu", "_TRANSPORT" : "journal", "_CAP_EFFECTIVE" : "0", "PRIORITY" : "5", "_UID" : "102", "_GID" : "106", "_COMM" : "rsyslogd", "_EXE" : "/usr/sbin/rsyslogd", "_CMDLINE" : "/usr/sbin/rsyslogd -n", "_SYSTEMD_CGROUP" : "/system.slice/rsyslog.service", "_SYSTEMD_UNIT" : "rsyslog.service", "_PID" : "3280", "_SYSTEMD_INVOCATION_ID" : "270801fdff7943bc83cd7cef242b3271", "CODE_FILE" : "omjournal.c", "CODE_LINE" : "270", "CODE_FUNC" : "send_non_template_message", "SYSLOG_FACILITY" : "16", "SYSLOG_IDENTIFIER" : "nginx", "MESSAGE" : "36.24.73.111 - - [16/Aug/2019:14:57:08 +0800] \"GET /favicon.ico HTTP/1.1\" 200 946 \"http://111.231.88.233/todo\" \"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36\"", "_SOURCE_REALTIME_TIMESTAMP" : "1565938628254404" }
option2 如果找不到SYSLOG_IDENTIFIER
,请检查 rsyslog 输入模块文档。imfile
有tag
参数,所以可以journalctl -t nginx
用来获取日志。检查以下示例
module(load="imfile")
module(load="omjournal")
ruleset(name="nginx") {
action(type="omjournal")
}
input(
type="imfile"
File="/var/log/nginx/access.log"
tag="nginx"
ruleset="nginx")
选项3
您需要检查omjournal
文档,omjournal
有一个名为 的参数tempalte
,您可以指定发送的格式以journald
检查以下文档。
- www.rsyslog.com/doc/v8-stable/configuration/modules/omjournal.html
- www.rsyslog.com/doc/v8-stable/configuration/templates.html
- www.freedesktop.org/software/systemd/man/systemd.journal-fields.html
希望能帮助到你。
推荐阅读
- vue-router - vue-router 下一个方法在 beforeach 中并不总是有效
- c++ - 为什么一个空行占用两个字节?
- android - 将 OSM (OpenStreetMap) 放入自定义形状
- c++ - 如何递归枚举添加到给定总和的所有子集?
- python - 无法在python中打开txt文件
- node.js - 使用带有可下载在线链接的归档模块
- theano - 如何在 Theano 中创建多对角方阵?
- java - Spring Boot 安全主体用户更改为新登录的用户详细信息
- kubernetes - 如何连接到官方 helm chart 创建的 OpenLDAP?
- javascript - GraphQL 查询省略了不同类型对象的空字段