java - 批处理 - 处理大量数据
问题描述
我必须处理来自数据库的近 300 万条记录。
以下是流程摘要:
- 读取两个表(T1、T2)
- 从 T1 获取唯一 ID (ID) 并从 T2 表中获取属性。
- T2 表中有 3 类用户,A1、A2 和 A3。
- 现在为每个用户类型 A1.csv、A2.csv 和 A3.csv 生成 3 个 CSV 并写入获取的属性。
我必须以并行执行和有效的方式执行上述流程。请提出合适的 Java 方法。
解决方案
推荐阅读
- pandas - postgres等效于pandas pivot的方法,然后unstack?
- django - Django - 创建用户时创建模型实例
- algorithm - 快速找到正确组合的算法
- css - 使图像填充网格内部,同时保持纵横比
- python - Django Rest Framework:在序列化程序中使用 URL 参数
- python-3.x - 怎么给这个游戏加分
- r - 更改我的绘图上的 x 轴以适应另一个值:xlim, scale_x_continuous not working
- html - 如何使用 Angular 显示和隐藏 div
- stata - Stata:按组保留第一次观察
- printing - 斑马打印机 ZT610 不打印抛光标志,而 ZTC 110 可以