首页 > 解决方案 > NodeJS MongoDb - 以编程方式导出大数据

问题描述

我有一个休息 API。

我的一个端点必须从我的数据库创建一个 JSON 导出。

我的数据库(约 2M 条记录)。

在我的要求之下:

json.aggregate([
        {$sample: {size: limit}}, 
        {$project: {_id: 0, whenUpdated: 0}},
        {$match: {registered:true}}
    ]).toArray((error, collections) => {

我正在尝试创建一个没有某些字段的随机导出。

我的限制可能是 250k。每条记录都是一个复杂的 json。

我的问题是请求超时。有点像60年代。我无法足够快地生成我的导出。

我试过 mongoexport 但我不能有随机记录。

你有在 json 或 csv中导出大量随机数据的想法吗?

谢谢

标签: node.jsmongodb

解决方案


推荐阅读