aws-lambda - 尽管有 SubscriptionFilter,AWS CloudWatch LogGroup 从不向 Lambda 发送日志
问题描述
目标:设置一个以日志组名称作为参数的 Cloudformation 堆栈,每当新日志出现在该日志组中时,它们就会被发送到 Lambda 函数进行处理,然后发送到 Kinesis Firehose,然后将日志文件发送到一个叫做 foobarbaz 的桶。
问题:从未调用过 Lambda 函数(Lambda 的 CloudWatch 日志显示即使在日志组中出现新数据后也不会触发它)。由于我设置了 SubscriptionFilter 资源,调用应该会自动发生。我没有看到任何错误。无论发生什么,似乎都在默默地失败。
注意:SubscriptionFilter 上的 FilterPattern 已设置为空字符串。我的目的是将日志组中的所有日志发送到 Lambda 函数。
这是我的 Cloudformation 模板:
Parameters:
LogGroupName:
Type: String
Description: The name of the log group who's logs we want to send to send to Lambda->Kinesis->S3
AuditTrailPrefix:
Type: String
Description: Log files will be sent to the Logging account S3 bucket with this prefix in the bucket path
Resources:
AuditTrailFunctionPermissions:
Type: AWS::Lambda::Permission
Properties:
Action: lambda:InvokeFunction
FunctionName: !Ref AuditTrailFunction
Principal: logs.amazonaws.com
SourceAccount: !Ref AWS::AccountId
AuditTrailFunction:
Type: AWS::Lambda::Function
Properties:
Handler: index.handler
Role: !GetAtt AuditTrailFunctionRole.Arn
Code:
ZipFile: >
// do some stuff with the data and PUT it to KinesisFirehose
// removed for brevity
Runtime: nodejs8.10
Timeout: 30
AuditTrailFunctionRole:
Type: AWS::IAM::Role
Properties:
AssumeRolePolicyDocument:
Statement:
Action: sts:AssumeRole
Effect: Allow
Principal:
Service: lambda.amazonaws.com
Version: '2012-10-17'
ManagedPolicyArns:
- arn:aws:iam::aws:policy/service-role/AWSLambdaBasicExecutionRole
Policies:
- PolicyDocument:
Statement:
- Action:
- firehose:PutRecord
- firehose:PutRecordBatch
Effect: Allow
Resource: !Sub arn:aws:firehose:${AWS::Region}:${AWS::AccountId}:deliverystream/${AuditTrailDeliveryStream}
Version: '2012-10-17'
PolicyName: root
AuditTrailSubscription:
Type: AWS::Logs::SubscriptionFilter
DependsOn: AuditTrailFunctionPermissions
Properties:
DestinationArn: !GetAtt AuditTrailFunction.Arn
FilterPattern: ''
LogGroupName: !Ref LogGroupName
AuditTrailDeliveryStream:
Type: AWS::KinesisFirehose::DeliveryStream
Properties:
DeliveryStreamType: DirectPut
S3DestinationConfiguration:
BucketARN: arn:aws:s3:::foobarbaz
BufferingHints:
IntervalInSeconds: 60
SizeInMBs: 50
CompressionFormat: GZIP
Prefix: !Ref AuditTrailPrefix
RoleARN: !GetAtt DeliveryRole.Arn
DeliveryRole:
Type: AWS::IAM::Role
Properties:
AssumeRolePolicyDocument:
Statement:
Effect: Allow
Principal:
Service: firehose.amazonaws.com
Action: sts:AssumeRole
Policies:
- PolicyName: firehose_delivery_policy
PolicyDocument:
Statement:
Effect: Allow
Action:
- s3:AbortMultipartUpload
- s3:GetBucketLocation
- s3:GetObject
- s3:ListBucket
- s3:ListBucketMultipartUploads
- s3:PutObject
Resource:
- arn:aws:s3:::foobarbaz
- arn:aws:s3:::foobarbaz/${AuditTrailPrefix}*
解决方案
我看不出有什么问题,但这里有一些故障排除提示:
仅当新日志上传到您的日志组时,才会调用 Lambda 函数。在您设置订阅过滤器之前,它不会为已经在日志组中的数据调用。
如果 #1 不是这种情况(即您上传了新数据),请转到 CloudWatch -> Metrics 并搜索日志组名称。您应该找到与您的订阅过滤器相关的 4 个指标:ForwardedBytes、ForwardedLogEvents、DeliveryErrors、DeliveryThrottling。有关说明,请参阅此。如果 DeliveryErrors 或 DeliveryThrottling 指标 > 0,则存在问题。
DeliveryErrors 最可能的问题是权限问题。我看不出你的有什么问题,但这就是我首先要仔细检查的。
您可以使用 AWS CLI 手动调试订阅设置。(请参阅此内容。)这可以帮助您找出可能导致问题的设置部分。
推荐阅读
- reactjs - Material UI 5.0:当自动完成值为空时,每个项目都被选中
- r - 仅按 R 月标记周日期
- tensorflow - 如何确保预测时间图像输入与训练时间图像输入在同一范围内?
- python - 用真值替换日期列中的未命名值
- url - 使用 requests 库查看 url 是否正常工作,但得到意外结果?
- abp - 单一应用程序中模块之间相互通信的权限操作
- javascript - 如何将数组数组拆分为更小的部分
- database - 我如何在自己的数据库中使用 firebase 验证
- c++ - C++中的类系统架构
- visual-studio-2017 - 加载或创建应用程序时 Visual Studio 2017 崩溃