flume传输日志文件到HDFS过程讲解

Flume定义：

Flume是Cloudera提供的一个高可用的、高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。

为什么选用Flume

　　主要作用：实时读取服务器本地磁盘的数据，将数据写入到HDFS

Flume的组织架构

　　最简单的组织架构, 单agent

　　 Flume流式处理过程

　　说明：

　　　　source: 数据输入端

　　　　　　常见类型： spooling directory, exec, syslog, avro, netcat等

　　　　channel:位于source和sink之间的缓冲区

　　　　　　memory: 基于内存缓存，允许数据有丢失

　　　　　　file: 持久化channel, 系统宕机不会丢失数据

　　　　sink: 数据输出端

　　　　　　常见的目的地有: HDFS, Kafka, logger, avro, File, 自定义

　　　　Put事务流程:

　　　　　　doPut: 将批数据写入临时缓冲区putList

　　　　　　doCommit: 检查channel内存队列是否足够合并

　　　　　　doRollback: 内存队列空间不足，回滚数据

　　　　Take事务流程:

　　　　　　doTake: 将批数据提取到临时缓冲区takeList

　　　　　　doCommit: 如果数据全部发送成功，则清空临时缓冲区takeList

　　　　　　doRollback: 如果数据发送过程中出现异常，则将临时缓冲区takeList中数据返还给channel

　　多agent

　　事件流多路传输到一个或多个目标, 通过定义一个流复用器来实现.

　　多路日志收集型

Flume安装

　　Flume官网地址： http://flume.apache.org/

　　文档地址： http://flume.apache.org/FlumeUserGuide.html

　　下载地址： http://flume.apache.org/download.html

　　安装步骤：

　　1、将apache-flume-1.7.0-bin.tar.gz上传到/opt/software目录下

　　2、解压到/opt/module目录下

　　　　# tar -zxf apache-flume-1.7.0-bin.tar.gz -C /opt/module/

　　3、将目录apache-flume-1.7.0-bin改为名flume

　　　　# mv apache-flume-1.7.0-bin flume

　　4、将flume-env.sh.template改名为flume-env.sh，并修改其配置

　　　　# mv flume/conf/flume-env.sh.template flume/conf/flume-env.sh

　　　　# vi flume/conf/flume-env.sh

　　　　　　export JAVA_HOME=/opt/module/jdk1.8.0_161

　　5、验证安装是否成功　

　　# flume/bin/flume-ng version
　　Flume 1.7.0
　　Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git
　　Revision: 511d868555dd4d16e6ce4fedc72c2d1454546707
　　Compiled by bessbd on Wed Oct 12 20:51:10 CEST 2016
　　From source with checksum 0d21b3ffdc55a07e1d08875872c00523

实时读取本地文件到HDFS

　　1、flume必须持有hadoop相关的包才能将数据输出到hdfs，将如下包上传到flume/lib下

　　　　涉及到的包如下，以hadoop-2.9.2为例：

　　　　commons-configuration-1.6.jar

　　　　commons-io-2.4.jar

　　　　hadoop-auth-2.9.2.jar

　　　　hadoop-common-2.9.2.jar

　　　　hadoop-hdfs-2.9.2.jar

　　　　hadoop-hdfs-client-2.9.2.jar

　　　　htrace-core4-4.1.0-incubating.jar

　　　　stax2-api-3.1.4.jar

　　　　woodstox-core-5.0.3.jar

　　2、修改/etc/hosts, 加入hadoop的地址

　　　　10.xx.xx.xx hadoo

　　3、创建配置文件flume-file-hdfs.conf

　　　　# cd flume/

　　　　# mkdir jobs

　　　　# touch jobs/flume-file-hdfs.conf

　　4、添加内容如下

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
#定义source为可执行命令
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /opt/module/flume/logs/flume.log
#执行shell脚本的绝对路径
a1.sources.r1.shell = /bin/bash -c

# Describe the sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://hadoop:9000/flume/%Y%m%d/%H
#上传文件的前缀
a1.sinks.k1.hdfs.filePrefix = logs-
#是否按照时间滚动文件
a1.sinks.k1.hdfs.round = true
#多少时间单位创建一个新文件夹
a1.sinks.k1.hdfs.roundValue = 1
#时间单位
a1.sinks.k1.hdfs.roundUnit = hour
#是否使用本地时间戳
a1.sinks.k1.hdfs.useLocalTimeStamp = true
#积攒多少个event才flush一次hdfs
a1.sinks.k1.hdfs.batchSize = 100
#文件类型， 是否压缩
a1.sinks.k1.hdfs.fileType = DataStream
#多久生成一个新文件
a1.sinks.k1.hdfs.rollInterval = 60
#每个文件的大小
a1.sinks.k1.hdfs.rollSize = 10240
#文件的滚动与event数量无关
a1.sinks.k1.hdfs.rollCount = 0
#最小冗余
a1.sinks.k1.hdfs.minBlockReplicas = 1

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
# 容量
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

　5、启动flume

　　# bin/flume-ng agent --conf conf/ --conf-file jobs/flume-file-hdfs.conf --name a1 -Dflume.root.logger=DEBUG,console　

　6、查看hdfs系统文件是否接收到文件

　　# hdfs dfs -ls /flume
　　Found 1 items
　　drwxr-xr-x - root supergroup 0 2020-04-02 22:37 /flume/20200402

flume传输日志文件到hdfs成功了。

友情提示：

　　hadoop伪分布部署： https://www.cnblogs.com/kongzhagen/p/6872297.html

flume传输日志文件到HDFS过程讲解

推荐阅读