1、mapreduce
移动计算不移动数据,那个节点有数据就拷贝一份程序过去运行。input对数据进行split,变成数据的片段。
shuffler,在mapper和reduce之间。map输出的数据按照key重新切分和组合成n份。partion,sort,spilll to disk。fetch
2、storm流式计算框架
3、spark内存计算框架
xiaofeiyang 2020-09-29 09:41 原文
1、mapreduce
移动计算不移动数据,那个节点有数据就拷贝一份程序过去运行。input对数据进行split,变成数据的片段。
shuffler,在mapper和reduce之间。map输出的数据按照key重新切分和组合成n份。partion,sort,spilll to disk。fetch
2、storm流式计算框架
3、spark内存计算框架