amazon-s3 - 解析 CloudWatch 日志并将结果上传到 s3 的最佳方法

Question

我正在尝试解析日志组并过滤我需要的一些信息，然后将其上传到 s3。我做了一些研究，我有以下两种方法：

1. 通过使用订阅过滤器，这意味着我可以创建另一个 lambda 函数来订阅我感兴趣的日志组 --> lambda 将以流方式解析数据 --> 将流数据逐个上传到 s3 --> 也许稍后创建另一个作业，将 s3 中的多个对象组合成一个更大的对象（我的目标是使用一些日志数据进行分析）

2. 通过使用日志洞察查询。希望使用 lambda 定期触发洞察查询并写入 s3 —— 这样我就不必担心上传到 s3 的小量内容。但是，我不知道是否有一种程序化的方式来做到这一点。如何使用 lambda 函数来触发日志洞察？到目前为止，我只知道如何在 CloudWatch 控制台中执行此操作。

3. 更多我不知道的方法？

请给我一些建议。先感谢您！

标签： amazon-s3amazon-cloudwatchamazon-cloudwatchlogsaws-cloudwatch-log-insights