amazon-web-services - 读取 HDFS 上的特定块
问题描述
我有一个带有 1 个主节点和 3 个数据节点的 Hadoop 集群。我创建了一个 1G 文件，结果创建了 8 个位于不同数据节点中的块。我正在使用Amazon EMR，我可以使用此命令查看块的位置
hdfs fsck /1g.img -files -blocks -locations
但我需要阅读特定块的内容。我知道我可以使用该-cat选项，但这会读取我不需要的整个文件。有什么方法可以读取 hdfs 上特定块的内容，特别是在Amazon EMR上。
解决方案
推荐阅读
- python - 如果我的数据框没有 NaN，为什么套索模型没有运行？
- javascript - 通过在间隔期间单击另一个按钮来停止和重置间隔
- python-3.x - 导入 PyARMViz 包时抛出类型错误。如何解决？
- json - 使用带 curl 的相对路径发送 JSON 文件
- c - C绝对初学者指南第8章Ex2
- javascript - 摩纳哥编辑器反应电子卡在加载
- jquery - 将下拉菜单更改为反之亦然 jQuery 调整大小？
- python - 根据每日高低价格获取一周的高低价格日期
- python - 如何在控制台中查看代码 [Python、Tkinter、Atom]
- python - 极地 hist2d 没有显示完整的情节