时间戳

首页 > 解决方案 > 如何将日志文件从 cloudwatch 日志传输到 redshift

python-2.7 - 如何将日志文件从 cloudwatch 日志传输到 redshift

问题描述

有人知道吗？请帮忙

标签： python-2.7amazon-web-servicesamazon-redshiftlocalamazon-cloudwatchlogs

解决方案

尽管问题非常笼统且未指定约束，但可能有多种解决方案。但在我看来，跟随可能是个好方法。

  1. 将 Cloudwatch 日志导出到 S3
  2. 使用 Copy 命令将日志从 S3 复制到 Redshift

以下是有关第 1 步的一些基本信息。

该步骤可以通过以下任一方式进行。

  • 使用 CloudWatch Logs 订阅过滤器将日志直接流式传输到 S3
  • 使用 CloudWatch 计划事件来计划 Lambda 函数以将日志导出到 S3。很少有文档可以提供帮助。

http://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/SubscriptionFilters.html https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/S3Export.html

https://source.sh/blog/2015/06/06/automatically-exporting-cloudwatch-logs-to-s3-with-kinesis-and-lambda/

以下是关于步骤 #2 的一些基本信息 有关于复制命令的很好的文档，请参阅下面的链接。您可以使用您选择的任何语言/库，python/shell-script、java 和 boto3 等来执行copy sql command.

https://docs.aws.amazon.com/redshift/latest/dg/t_Loading-data-from-S3.html

推荐阅读