hadoop - 为什么 MapReduce 不能将输出放入内存中？
问题描述
我已经知道 MapReduce 在 shuffle 期间和 reducer 之后将数据输出到磁盘，这就是 mapreduce 比 Spark 慢的原因。我知道它在早期是这样设计的，因为计算机没有太多内存并且磁盘很便宜，但是现在为什么不改变这种设计，因为内存更大呢？为什么不更改源代码以将输出保存到 Spark 等内存中？
解决方案
推荐阅读
- android - Android：通过字符串值查找字符串资源键
- docker - 从多个主机共享 docker 卷？
- php - 试图在 wordpress 中获取非对象“class-wp-query.php”和“link-template.php”的属性
- php - 如何在另一个项目中重用 sylius 组件？
- javascript - laravel 向资产添加文本
- java - 来自工件 jar 的媒体资源正确路径
- javascript - 如何在 ReactiveList 中获得所有结果
- javascript - Mailgun API：Access-Control-Allow-Headers 不允许请求标头字段授权
- python - 在不使用内置函数的情况下构建自定义计数器函数
- python - 如何在 Python3.6 中同时使用 int 和 str？