时间戳

首页 > 解决方案 > 文件未使用 Streamsets 从本地加载到 HDFS（已成功验证！）

hadoop - 文件未使用 Streamsets 从本地加载到 HDFS（已成功验证！）

问题描述

我刚刚开始使用流集，并且正在尝试将文本文件从本地加载到 HDFS。请注意：我使用的是 Cloudera Manager，这是“core-site.xml”的视图：

<property>
 <name>hadoop.ssl.server.conf</name>
 <value>ssl-server.xml</value>
 <final>true</final>
</property>
<property>
 <name>hadoop.ssl.client.conf</name>
 <value>ssl-client.xml</value>
 <final>true</final>
</property>
<property>
 <name>hadoop.proxyuser.sdc.hosts</name>
 <value>*</value>
</property>
<property>
 <name>hadoop.proxyuser.sdc.groups</name>
 <value>*</value>
</property>
</configuration>

本地文件是存储在“/home/cloudera/Desktop”中的文本文件。

这是 Streamsets 中源（本地）配置的视图：

Streamsets 中的本地文件配置

这是 Streamsets 中 Hadoop fs 配置的视图：

Streamsets 中的 Hadoop fs 配置

验证成功！

管道已通过验证

播放完管道后，我应该在我指定的 HDFS 目录中找到该文件，尤其是在“/user/cloudera”。

但是当我运行它时，文件还没有加载。

我确定我错过了一些东西，我找不到答案。能否请你帮忙！

谢谢，

标签： hadoopfile-uploadhdfspipelinestreamsets

解决方案

您需要播放管道，而不仅仅是验证它。

推荐阅读