hdfs - 将 15 GB 文件传输到 HDFS 集群的步骤是什么
问题描述
我有一个 20 GB 的文件,根据我的理解,HDFS 集群只不过是协调良好的机器,如果我想传输一个 20 GB 的文件,我该如何将它传输到 HDFS 以及当我们将 i 传输到 HDFS 时内部会发生什么
解决方案
文件大小无关紧要。
https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/FileSystemShell.html
hadoop fs -put /path/to/file hdfs://namenode.address:port/path/in/hdfs
当我们将 i 传输到 HDFS 时内部会发生什么
它被拆分为 HDFS 块并分布到数据节点上
推荐阅读
- javascript - React:如何仅在从映射数组中单击组件后才在页面上呈现组件?
- pandas - 计算 L_df 中有多少,但火花中的 A_df 没有
- python - 从 2 个具有默认键的列表和列表中的值创建字典
- python - 如何从models.py django调用自定义函数
- kotlin - 从 Kotlin 中的 lambda 返回
- python - Couchbase Python SDK 3.2.2(或 3.2.3)的内存泄漏以及如何禁用跟踪
- python - 如何使用 Flask API 更改 Tkinter 标签
- apache-spark - BindException 集群模式 yarn
- angular - 错误:不支持:关键字“id”,在 Angular13 升级后使用“$id”作为架构 ID
- python-3.x - 如何在 Python 中使用多级字典创建 Odoo 记录