时间戳

首页 > 解决方案 > 气流 HDFS 传感器

airflow - 气流 HDFS 传感器

问题描述

试图让 HDFSSensor 工作。我已经建立了 hdfs 连接并且文件在那里但是它一直在戳文件并且永远不会完成

寻找文件 hdfs://user/airflow/stamps/test/ds=2018-10-15/_SUCCESS

代码如下

hdfs_sense_open = HdfsSensor(
        task_id='hdfs_sense_open',
        filepath='hdfs://user/airflow/stamps/test/ds=2018-10-15/_SUCCESS',
        hdfs_conn_id='hdfs_leo',
        dag=dag)

实际上它可以在路径中没有文件名的情况下工作。我还想在创建hdfs连接时再补充一点，您需要使用hdfs端口号而不是webhdfs端口，即8020（如果是localhost，可能是9000）但不是像50070这样的webhdfs端口

hdfs_sense_open = HdfsSensor(
        task_id='hdfs_sense_open',
        filepath='/user/airflow/stamps/test/ds=2018-10-15/',
        hdfs_conn_id='hdfs_leo',
        dag=dag)

非常感谢你们俩试图帮助我

标签： airflow

解决方案

filepath在没有协议的情况下尝试它。喜欢：

hdfs_sense_open = HdfsSensor(
        task_id='hdfs_sense_open',
        filepath='/user/airflow/stamps/test/ds=2018-10-15/_SUCCESS',
        hdfs_conn_id='hdfs_leo',
        dag=dag)

推荐阅读