时间戳

首页 > 解决方案 > 如何配置亚马逊队列服务消费计数

amazon-web-services - 如何配置亚马逊队列服务消费计数

问题描述

我一直在编写一些群发邮件脚本。它是这样工作的。
1. 从数据库中拉取必须接收电子邮件的用户。目前这个计数是~11k。
2. 将他们的电子邮件地址放入亚马逊队列服务中。
3. 触发另一个从队列服务拉取的 Lambda 代码，有间隔。
4. 找到每个用户的相关产品，构建html模板（Amazon s3）进行邮寄。
5. 使用 Amazon SES 发送它们。

由于 Amazon SES 仅允许每秒最多 14 封电子邮件，因此我必须在拉取时配置消费计数。但它以某种方式消耗太多，SES 给了我错误。

当前代码片段：

module.exports.mail_puller = (event, context, callback) => {
  init_aws();
  const Consumer = require('sqs-consumer');
  const app = Consumer.create({
    queueUrl: process.env.QUEUE_URL,
    handleMessage: (msg, done) => {
      build_email(JSON.parse(msg.Body));
      done();
    },
    waitTimeSeconds: 20,
    size: 1,
    visibilityTimeout: 1,
    sqs: sqs
  });

  app.on('error', (err) => {
    if (err) console.log(err);
  });
  app.on('empty', (err) => {
    if (err) console.log(err);
    if (connection && connection.state !== 'disconnected') connection.end();
    app.stop();
    callback(null, response);
  });
  app.start();
};

function build_email(obj) {
  init_cheerio();
  const $t = cheerio.load(obj.tpl);

  find_chosen(obj.id).then(products => {
    for (let product of products) {
      $t('.products-container').prepend(build_product(obj.product_tpl, product));
    }
    send_email(obj.email, obj.subject, $t.html().toString(), obj.id);
  });
}

错误信息：

2018-11-21T01:51:11.039Z    daf6727a-ed2f-11e8-9330-c581beef6958    { Throttling: Maximum sending rate exceeded.
at Request.extractError (/var/task/node_modules/aws-sdk/lib/protocol/query.js:47:29)
at Request.callListeners (/var/task/node_modules/aws-sdk/lib/sequential_executor.js:105:20)
at Request.emit (/var/task/node_modules/aws-sdk/lib/sequential_executor.js:77:10)
at Request.emit (/var/task/node_modules/aws-sdk/lib/request.js:683:14)
at Request.transition (/var/task/node_modules/aws-sdk/lib/request.js:22:10)
at AcceptorStateMachine.runTo (/var/task/node_modules/aws-sdk/lib/state_machine.js:14:12)
at /var/task/node_modules/aws-sdk/lib/state_machine.js:26:10
at Request.<anonymous> (/var/task/node_modules/aws-sdk/lib/request.js:38:9)
at Request.<anonymous> (/var/task/node_modules/aws-sdk/lib/request.js:685:12)
at Request.callListeners (/var/task/node_modules/aws-sdk/lib/sequential_executor.js:115:18)
at Request.emit (/var/task/node_modules/aws-sdk/lib/sequential_executor.js:77:10)
at Request.emit (/var/task/node_modules/aws-sdk/lib/request.js:683:14)
at Request.transition (/var/task/node_modules/aws-sdk/lib/request.js:22:10)
at AcceptorStateMachine.runTo (/var/task/node_modules/aws-sdk/lib/state_machine.js:14:12)
at /var/task/node_modules/aws-sdk/lib/state_machine.js:26:10
at Request.<anonymous> (/var/task/node_modules/aws-sdk/lib/request.js:38:9)
message: 'Maximum sending rate exceeded.',
code: 'Throttling',
time: 2018-11-21T01:51:11.039Z,
requestId: 'ebcebbd1-ed2f-11e8-b6d5-130ef17efa56',
statusCode: 400,
retryable: true }

标签： amazon-web-servicesnpmaws-lambdaamazon-sqsamazon-ses

解决方案

限制是一个正常事件，您应该通过在延迟一段时间后重新驱动受限制的请求来处理此异常 - AWS 提供了一个重试策略框架来执行此操作（该链接适用于 Java SDK，但所有 SDK 都存在类似的概念）。更多关于重试的阅读请点击此处。

您也可以通过在您身边进行一些速率限制来帮助缓解这种情况 - 基本上为您的send_email调用添加一些人为延迟以减少 SES 限制。

尝试不同的重试策略和客户端速率限制配置，以确定哪些数字可以为您的用例提供最佳结果。

推荐阅读