node.js - NodeJS MongoDb - 以编程方式导出大数据
问题描述
我有一个休息 API。
我的一个端点必须从我的数据库创建一个 JSON 导出。
我的数据库(约 2M 条记录)。
在我的要求之下:
json.aggregate([
{$sample: {size: limit}},
{$project: {_id: 0, whenUpdated: 0}},
{$match: {registered:true}}
]).toArray((error, collections) => {
我正在尝试创建一个没有某些字段的随机导出。
我的限制可能是 250k。每条记录都是一个复杂的 json。
我的问题是请求超时。有点像60年代。我无法足够快地生成我的导出。
我试过 mongoexport 但我不能有随机记录。
你有在 json 或 csv中导出大量随机数据的想法吗?
谢谢
解决方案
推荐阅读
- express - 带有 expressjs 和 sequelize 的 GraphQl 模式(关联)
- javascript - Electron Windows 应用程序托盘上下文菜单创建持久的不可见电子窗口
- c++ - 将文本文件读入链表 C++
- spring-boot - 你能帮我修复我的 STS 吗?因为它不工作
- javascript - 无法读取未定义的属性 ,,'id''''
- python - Gensim 3.8.3 Word2Vec 没有更新玩具数据集的权重/参数
- laravel - 如何更新我的数据库 laravel 中的每秒数据
- spring-boot - 如果本地机器上没有 testcontainer,则 Springboot 测试失败
- python - 在 Azure Functions 中使用 Python 将 webm 转换为 wav
- plugins - 简码在特定插件中不起作用