时间戳

首页 > 解决方案 > 如何从 S3 存储桶读取大型 XML 文件，然后使用 AWS Lambda 将其用作 HTTP 请求正文

node.js - 如何从 S3 存储桶读取大型 XML 文件，然后使用 AWS Lambda 将其用作 HTTP 请求正文

问题描述

我正在编写一个 AWS Lambda，我需要使用来自 S3 存储桶的 XML 文件的内容来发出 HTTP PUT 请求。只要在给定的 S3 存储桶中有文件上传，就应该触发这个 lambda。以下是我在 Node.js 中的代码：

exports.handler = (event, context, callback) => {
    var s3 = new AWS.S3();
    var sourceBucket = event.Records[0].s3.bucket.name;
    const key = decodeURIComponent(event.Records[0].s3.object.key.replace(/\+/g, ' '));
    const params = {
        Bucket: sourceBucket,
        Key: key
    };
    s3.getObject(params, function(err, data) {
        if (err)
            console.log(err, err.stack); // an error occurred
        else {
            var body = data.Body.toString();
            const params2 = {
                url: 'http://url:port/PutFile',
                body: body
            };
            req.put(params2, function(err, res, body) {
                if(err){
                    console.log('------error------', err);
                } else{
                    console.log('------success--------', body);
                }
            });
            req('http://url:port/ResetData', function (error, response, body) {
                //Check for error
                if(error){
                    return console.log('Error:', error);
                }

                //Check for right status code
                if(response.statusCode !== 200){
                    return console.log('Invalid Status Code Returned:', response.statusCode);
                }
                    console.log(body); 

            });
    });
};

我的代码运行良好，并且对虚拟 XML 文件 (~3KB) 进行了必要的调用。但是对于原始要求，文件大小超过 10MB，它返回以下异常：

RequestId: <someId> Error: Runtime exited with error: signal: killed

我尝试将 lambda 超时增加到 10 分钟，但仍然遇到相同的错误。我应该如何解决这个问题？

标签： node.jsamazon-web-servicesamazon-s3aws-lambda

解决方案

问题可能是您的 lambda 内存不足并且 aws 终止了执行。如果您查看此行上方的行：

...错误：运行时因错误退出：信号：已终止

您将看到下面的行（粗体是我的）：

报告请求 ID：XXXX-XXXXX-XXXXX 持续时间：XXXX.XX 毫秒 计费持续时间：XXXXX 毫秒 内存大小：128 MB 使用的最大内存：129 MB

请注意，您使用的内存超过了分配给 lambda 的大小。增加限制并重试。

推荐阅读