时间戳

首页 > 解决方案 > HDFS 文件观察服务

java - HDFS 文件观察服务

问题描述

我正在使用 hdfs 文件观察服务来加载配置文件，因为它在我的 flink 流式传输作业中发生更改。

观察者服务来源：HDFS 文件观察者

我在这里面临的问题是观察者服务正在对整个 hdfs 的变化做出反应，而不仅仅是我传递的目录。

我的代码：

public static void main( String[] args ) throws IOException, InterruptedException, MissingEventsException
  {
    HdfsAdmin admin = new HdfsAdmin( URI.create("hdfs://stage.my-org.in:8020/tmp/anurag/"), new Configuration() );
    DFSInotifyEventInputStream eventStream = admin.getInotifyEventStream();
    while( true ) {
      EventBatch events = eventStream.take();
      for( Event event : events.getEvents() ) {
        switch( event.getEventType() ) {
          case CREATE:
            System.out.print( "event type = " + event.getEventType() );
            CreateEvent createEvent = (CreateEvent) event;
            System.out.print( "  path = " + createEvent.getPath() + "\n");
            break;
          default:
            break;
        }
      }
    }
  }

程序输出：

event type = CREATE  path = /tmp/anurag/newFile.txt
event type = CREATE  path = /tmp/newFile2.txt

请帮我解决这个问题，以便我可以查看作为 URI 传递的特定目录中的文件

感谢期待

注意：如果你尝试运行这个程序，请以 hdfs 用户身份运行，否则你会得到 org.apache.hadoop.security.AccessControlException

标签： javahadoophdfs

解决方案

现在，我使用 Hadoop API 每 30 秒获取一次文件，读取它的修改时间，以及它是否大于再次重新加载文件。

推荐阅读