node.js - AWS Lambda nodejs长时间运行的过程

问题描述

我正在做一个项目（无服务器、Lambda、Nodejs、MongoDB、SQS），我需要制作价格图表，有一个 API/api/products?country=countryCode可以返回有关产品和价格的数据（请参阅下面的响应示例），价格可以是每个国家/地区都不同，例如，荷兰的价格可以是 12.99 美元，澳大利亚的价格可以是 13.99 欧元（所有其他属性不变）

我在 MongoDb 中有一个国家的集合，集合中大约有 225 个以上的国家。我有一个每天触发一次 lambda 函数的 cron 作业。对于每个国家/地区，我需要调用返回需要处理的产品数据（请参阅下面的示例响应）的 API。获取所有数据后，我同时插入产品和价格（产品是唯一的，价格计数 = 产品计数 * 国家计数 * 天数）。为了避免国家之间的价格差异，您需要一次插入数据。例如昨天Bladur之剑的价格是17.99美元，今天是18.99美元，我们已经更新了NL的价格，但AU正在处理中。

请帮我解决以下问题之一：

问题 1（Cron -> Handler）：1 个 API 请求大约需要 6-8 秒。处理所有国家，大约需要 30 (225 * 8 / 60) 分钟，但是，有一个小问题，lambda 函数有超时限制（最大：15 分钟），当然这个时间不足以完成工作。
问题 2（Cron -> 处理程序 -> SQS 处理程序）：我重写了我的代码，而不是运行一个 lambda 函数，而是将每个国家/地区发送到 AWS SQS（消费者/生产者），这会触发一个从 API 和进程获取数据的 lambda 函数，但是，在这里我有一个问题，即我不知道周期何时会结束以立即插入价格。

PS我认为我应该使用生产者/消费者来避免丢失国家数据，所以如果有人有第二个问题的解决方案，我会很高兴

MongoDB Product model
{
  id: String,
  title: String,
  ...
}

MongoDB Price model
{
  country: String,
  productId: String,
  price: Number
}

API 响应示例：

GET /api/products?country=NL
[
  {
    "id": "37071265-7f98-4e32-ae45-c23f83e7c7a2",
    "title": "Dusty Book",
    "country": "NL",
    "price": 1299,
    ...
  },
  {
    "id": "49701bcf-c076-4064-b331-0952aee21deb",
    "title": "Sword of Bladur",
    "country": "NL",
    "price": 1799,
    ...
  },
  ...
]
-----
GET /api/products?country=AU
[
  {
    "id": "37071265-7f98-4e32-ae45-c23f83e7c7a2",
    "title": "Dusty Book",
    "country": "AU",
    "price": 1549,
    ...
  },
  {
    "id": "49701bcf-c076-4064-b331-0952aee21deb",
    "title": "Sword of Bladur",
    "country": "AU",
    "price": 1799,
    ...
  },
  ...
]

标签： node.jsmongodbamazon-web-servicesserverlesstimeserieschart

node.js - AWS Lambda nodejs长时间运行的过程

问题描述

解决方案

推荐阅读