node.js - Nodejs - 需要执行大约 100 个 API 异步请求
问题描述
我是 nodejs 的新手,我试图通过在单个请求中使用 axios npm 来执行大约 100 个 API 请求。以更好的性能/错误跟踪方式捕获所有响应的最佳代码逻辑是什么。
需要在单个 JSON 文件中捕获所有响应,所以我决定使用它createWriteStream('filename.json')
来避免内存问题。
我尝试了一些东西
const axios = require('axios');
const fs = require('fs');
const config = require('./config/secret.json');
app.get('/json', (req,res) => {
const linkArr = ['https://apirequest1.com','https://apirequest2.com','https://apirequest3.com','https://apirequest4.com', '...'];
const wipArr = [];
for(let getAPI of linkArr){
axios({
method: 'get',
url: getAPI,
auth: {username: config.username, password: config.secret}
})
.then(function (response){
const writeStream = fs.createWriteStream('wip.json');
writeStream.write(JSON.stringify(response.data));
})
.catch(function (error){
console.log(error);
})
}
res.send('successfully saved all response');
});
单次捕获所有 API 响应并在完成 API 请求后将它们保存在数组中,需要将所有响应写入 JSON 文件。
提前致谢!
解决方案
您遇到的第一个问题是您每次都创建流。这将在每次解决承诺时覆盖内容。删除此行。
const writeStream = fs.createWriteStream('wip.json');
你会有这样的东西。
const axios = require('axios');
const fs = require('fs');
const config = require('./config/secret.json');
const writeStream = fs.createWriteStream('wip.json');
app.get('/json', (req,res) => {
const linkArr = ['https://apirequest1.com','https://apirequest2.com','https://apirequest3.com','https://apirequest4.com', '...'];
const wipArr = [];
for(let getAPI of linkArr){
axios({
method: 'get',
url: getAPI,
auth: {username: config.username, password: config.secret}
})
.then(function (response){
//const writeStream = fs.createWriteStream('wip.json'); // remove this line because it will overwrite the file for each response.
writeStream.write(JSON.stringify(response.data));
})
.catch(function (error){
console.log(error);
})
}
res.send('successfully saved all response');
})
;
编辑:要等待所有请求,您可以尝试这样的事情。
app.get('/json', async (req, res) => {
let resp = null;
const writeStream = fs.createWriteStream('wip.json');
const linkArr = ['https://apirequest1.com', 'https://apirequest2.com', 'https://apirequest3.com', 'https://apirequest4.com', '...'];
const promises = [];
for (let getAPI of linkArr) {
promises.push(makeCall(getAPI));
resp = await Promise.all(promises); // resp is array of responses
// for (let i = 0; i < resp.length; i++) {
// writeStream.write(JSON.stringify(resp[i], null, 4)); // to //format the json string
// }
}
for (let i = 0; i < resp.length; i++) {
writeStream.write(JSON.stringify(resp[i], null, 4)); // to format the json string
}
res.send('successfully saved all response');
});
function makeCall(getAPI) {
axios({
method: 'get',
url: getAPI,
auth: { username: config.username, password: config.secret }
})
.then(function(response) {
return response.data;
});
}
我还没有测试过它,但类似的东西。这将运行所有请求。
要格式化 JSON 字符串,您可以使用。
JSON.stringify(resp[i], null, 4).
看看https://developer.mozilla.org/en-US/docs/Web/JavaScript/Reference/Global_Objects/JSON/stringify
编辑:问题是writeStream.write(JSON.stringify(resp[i], null, 4));
在循环内。把它移到了外面。
添加代码而无需测试。这应该适合你。
app.get('/json', async(req, res) => {
const writeStream = fs.createWriteStream('wip.json');
const linkArr = ['https://apirequest1.com', 'https://apirequest2.com', 'https://apirequest3.com', 'https://apirequest4.com', '...'];
const promises = [];
for (let getAPI of linkArr) {
promises.push(makeCall(getAPI));
}
const resp = await Promise.all(promises); // resp is array of responses
for (let i = 0; i < resp.length; i++) {
writeStream.write(JSON.stringify(resp[i], null, 4)); // to format the json string
}
res.send('successfully saved all response');
});
function makeCall(getAPI) {
return axios({
method: 'get',
url: getAPI,
auth: { username: config.username, password: config.secret }
})
}
推荐阅读
- node.js - Firestore NodeJS 管理 SDK,GET 承诺错误处理丢失文档
- embedded - 如何在 Yocto 构建中添加第三方库作为包
- java - Android Studio:在RelativeLayout中的编辑模式期间未显示按钮
- java - Gradle 构建失败
- vba - 如何正确处理 VBA 中的 FollowHyperlink 错误?
- php - 在php中提取ZIP,覆盖所有内容
- css - 带有文本的悬停效果到菜单项
- node.js - Postgres 连接池大小超出 AWS 中的配置值。可能是什么原因?
- vba - VBA 用户窗体 - 动态文本框默认值
- ios - FirebaseUI Firestore 未在 iOS 上检索数据