首页 > 技术文章 > 简单写下提交sql-map-shuffle-reduce的过程

chengdu-jackwu 2019-01-09 09:52 原文

 

 

 

 

 

 参考了很多资料写的结果,更多是学习(照搬前人成果)和了解map-shuffle-reduce过程种,到底做了什么事情。

 

 

 

1.map shuffle reduce
  a. shuffle过程
  b. map到shuffle的过程
  c. shuffle到reduce的过程
  d. 文件提交到map的过程
  e. reduce 完成到输出的过程
2.map join
3.reduce join
4.sql执行
5.mysql,orcle,hive计算引擎

推荐阅读