node.js - 逐行从aws s3读取一组lage txt文件

Question

我正在尝试使用此代码读取一个以上的大型 txt 文件以逐行读取它们的形式 s3 。

const params = {
            Bucket: bucket,
            Key: key,
        };
        const s3ReadStream = s3.getObject(params).createReadStream();
    
        const rl = readline.createInterface({
          input: s3ReadStream,
          terminal: false
        });
    
        let myReadPromise = new Promise( (resolve, reject) => {
            let line_number = 1;
            
            rl.on('line', async (line) => {
// some code 
});

但我有这个问题：

FATAL ERROR: MarkCompactCollector: young object promotion failed Allocation failed - JavaScript heap out of memory

我使用以下命令将内存增加到 8 GB：

 set NODE_OPTIONS="--max-old-space-size=8192"

仍然遇到同样的问题，知道如何将这些文件作为块读取！

标签： node.jstypescriptamazon-web-servicesamazon-s3