时间戳

首页 > 解决方案 > 在 Mac 中设置日志轮换

python - 在 Mac 中设置日志轮换

问题描述

我有 kafka 消费者和输出，应该在日志文件中每小时捕获实时数据流。从此链接 [1] 获得帮助：https ://richard-purves.com/2017/11/08/log-rotation-mac-admin-cheats-guide/

在 /var/log 中创建了一个日志文件 kafka.log，在 /etc/newsyslog.conf 中为同名 kafka.conf 创建了配置文件

尝试运行在 /var/log/kafka.log 下创建日志文件的 kafka 消费者

python3 consumer.py --kafka-broker "xxx" --kafka-topic "yyy" --kafka-group-id cxel-yellow-vsg-qoe --kafka-ssl-keyfile "key" --kafka-ssl- certfile "证书 --kafka-ssl-cafile /usr/local/etc/openssl@1.1/cert.pem --schemas prod --kafka-security-protocol SSL >> sudo /var/log/kafka.log 2>&1 &

标签： pythonapache-kafkalogrotate

解决方案

kafka 消费者 [其] 输出 [是] 实时数据流 [并且] 应该每小时在日志文件中捕获。

这正是Kafka Connect的用例，而不是一些标准的 Python 消费者

Kafka自带connect-standalone.sh让你入门

您可以使用 Confluent 提供的 HDFS2 Sink Connector 使用其类将数据写入（大约} 小时文件（每个主题分区一个文件）HourlyPartitioner，也受消费者获取大小的限制

您无需安装 HDFS 或下载 Hadoop 即可使用它。在文件位置的配置中，您可以提供file:///tmp/kafka-logs，例如

推荐阅读