hadoop - 如何理解 hadoop mapred.min.split.size 和 minSplitSize？
问题描述
在hadoop mapreduce中，设置map阶段的map数量时，需要设置mapred.min.split.size，但是看官方文档的时候，还有一个参数就是“minSplitSize”。两者有什么区别？
解决方案
首先，根据hadoop docs ，“mapred.min.split.size”被弃用，取而代之的是“mapreduce.input.fileinputformat.split.minsize” 。
尽管如此，“mapred.min.split.size”用于在 xml 配置文件中配置您的 hadoop 集群，而“minSplitSize”用于FileInputFormat类的 setMinSplitSize 方法中，以编程方式直接在您的作业配置中设置值并特定于单个工作。
祝你好运
推荐阅读
- angular - 无法在我的角度项目中使用角度材料
- python - 我有几个关于 Python 字符串操作的问题
- javascript - 禁用 textarea 的文本选择的问题
- java - 我必须以 int 形式获取用户的出生月份并将其存储为变量以供以后打印
- python - 绘制从多峰分布确定的单峰分布
- ruby - 基于 Cron 的终端作业在屏幕解锁之前不会开始（有时）
- php - 根据 WooCommerce 购物车总数和月份范围添加或删除免费产品
- jenkins - 在 jenkins 管道 shell 命令中传递 maven 参数
- html - 如何将我的引导 div 居中在屏幕中间？
- mysql - EER图中实体的定义