首页 > 解决方案 > 为什么 s3a 的性能远低于我用 cosbench 进行的基准测试?

问题描述

我使用本地构建的对象存储服务(支持S3接口),和Hadoop集群在同一个机房​​运行。

当我使用运行Hadoop的centos服务器执行cosbench测试对象存储服务时,带宽可以达到2G/s。

在我修改hadoop的core-site.xml文件将默认fs改为S3a后,我尝试使用TestDFSIO测试IO性能,我疑惑地发现结果比预期的慢很多(大约200Mb/s)。

所以想问问有没有可以参考的调优方案?

谢谢。

标签: amazon-web-serviceshadoopamazon-s3

解决方案


推荐阅读