首页 > 技术文章 > hadoop自带TestDFSIO学习

hellowcf 2017-06-05 15:48 原文

hadoop系统中,包含了很多测试工具包,如测试mapreduce系统读写文件系统,有testDFSIO工具

首先安装好hadoop,配置好环境变量

进入share目录下的mapreduce目录下面,使用测试的jar包

testDFSIO的参数如下:

read

读测试。执行该测试之前,需要先做write测试

write

写测试

nfFiles

文件个数,默认为1

fileSize

文件大小,默认为1MB

resFile

结果文件名,默认为” TestDFSIO_results.log”

bufferSize

设置缓存大小,默认为1000000

clean

清理数据

seq

数据是否有序,默认无序

 

 

 

 

 

 

 

 

 

 

 

 

输入命令:

测试写

hadoop jar *tests.jar TestDFSIO -write -nrFiles 256 -fileSize 1000 
测试结果

 

结果说明
结果说明:
Total MBytes processed : 总共需要写入的数据量 ==》 256*1000
Throughput mb/sec :总共需要写入的数据量/(每个map任务实际写入数据的执行时间之和(这个时间会远小于Test exec time sec))==》256000/(map1写时间+map2写时间+...)
Average IO rate mb/sec :(每个map需要写入的数据量/每个map任务实际写入数据的执行时间)之和/任务数==》(1000/map1写时间+1000/map2写时间+...)/256,所以这个值跟上面一个值总是存在差异。
IO rate std deviation :上一个值的标准差
Test exec time sec :整个job的执行时间

 

测试读
hadoop jar *tests.jar TestDFSIO -read -nrFiles 256-fileSize 1000 
测试结果

 

测试得过程中,注意目录的权限,可能会出现权限不够而失败的情况

推荐阅读