正文

一、配景

Hadoop业务的整体开发流程：

　　从Hadoop的业务开发流程图中可以看出，在大数据的业务措置惩罚惩罚过程中，对付数据的收罗是十分重要的一步，也是不成制止的一步.

许多公司的平台每天会孕育产生大量的日志（一般为流式数据，如，搜索引擎的pv，盘问等），措置惩罚惩罚这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征：

（1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；

（2） 撑持近实时的在线分析系统和类似于Hadoop之类的离线分析系统；

（3） 具有高可扩展性。即：当数据量增加时，可以通过增加节点进行程度扩展。

开源的日志系统，包孕facebook的scribe，apache的chukwa，linkedin的kafka和cloudera的flume等。

二、Flume的简介

　　flume 作为 cloudera 开发的实时日志收集系统，受到了业界的承认与广泛应用。Flume 初始的刊行版本目前被统称为 Flume OG（original generation），属于 cloudera。

　　但跟着 FLume 成果的扩展，Flume OG 代码工程痴肥、核心组件设计不同理、核心配置不标准等错误谬误袒露出来，尤其是在 Flume OG 的最后一个刊行版本 0.9.4. 中，日

志传输不不变的现象尤为严重，为了解决这些问题，2011 年 10 月 22 号，cloudera 完成了 Flume-728，对 Flume 进行了里程碑式的窜改：重构核心组件、核心配置以

及代码架构，重构后的版本统称为 Flume NG（next generation）；窜改的另一原因是将 Flume 纳入 apache 旗下，cloudera Flume 改名为 Apache Flume。

　　Flume是Apache的顶级项目，官方网站：

　　Flume是一个漫衍式、可靠、高可用的海量日志聚合系统，撑持在系统中定制种种数据发送方，用于收集数据；同时，Flume供给对数据的简单措置惩罚惩罚，并写到各类数据接收方的能力。

Flume 在0.9.x and 1.x之间有较大的架构调解，1.x版本之后的改称Flume NG，0.9.x的称为Flume OG。

　　Flume目前只有Linux系统的启动脚本，没有Windows环境的启动脚本。

三、Flume NG的介绍

3.1　Flume特点

flume是一个漫衍式、可靠、和高可用的海量日志收罗、聚合和传输的系统。撑持在日志系统中定制种种数据发送方，，用于收集数据;同时，Flume供给对数据进行简单措置惩罚惩罚，并写到各类数据接受方(好比文本、HDFS、Hbase等)的能力 。

　　flume的数据流由事件(Event)贯穿始终。事件是Flume的根基数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Event由Agent外部的Source生成，当Source捕获事件后会进行特定的格局化，然后Source会把事件推入(单个或多个)Channel中。你可以把Channel看作是一个缓冲区，它将生存事件直到Sink措置惩罚惩罚完该事件。Sink卖力长期化日志或者把事件推向另一个Source。

　（1）flume的可靠性 
　　当节点呈现故障时，日志能够被传送到其他节点上而不会丢掉。Flume供给了三种级另外可靠性保障，从强到弱依次分袂为：end-to-end（收到数据agent首先将event写到磁盘上，当数据传送告成后，再删除；如果数据发送掉败，可以从头发送。），Store on failure（这也是scribe给与的计谋，当数据接收方crash时，将数据写到本地，待恢复后，继续发送），Besteffort（数据发送到接收方后，不会进行确认）。

　（2）flume的可恢复性
　　还是靠Channel。保举使用FileChannel，事件长期化在本地文件系统里(性能较差)。

3.2　Flume的一些核心观点

　　Client：Client出产数据，运行在一个独立的线程。

　　Event： 一个数据单元，动静头和动静体构成。（Events可以是日志记录、 avro 东西等。）
　　Flow： Event从源点达到目的点的迁移的抽象。
　　Agent： 一个独立的Flume进程，包罗组件Source、 Channel、 Sink。（Agent使用JVM 运行Flume。每台机器运行一个agent，但是可以在一个agent中包罗

　　　　　　多个sources和sinks。）
　　Source： 数据收集组件。（source从Client收集数据，通报给Channel）
　　Channel： 中转Event的一个姑且存储，生存由Source组件通报过来的Event。（Channel连接 sources 和 sinks ，这个有点像一个行列队伍。）
　　Sink： 从Channel中读取并移除Event， 将Event通报到FlowPipeline中的下一个Agent（如果有的话）（Sink从Channel收集数据，运行在一个独立线程。）

3.3　Flume NG的体系布局

　Flume 运行的核心是 Agent。Flume以agent为最小的独立运行单位。一个agent就是一个JVM。它是一个完整的数据收集工具，含有三个核心组件，分袂是

　source、 channel、 sink。通过这些组件， Event 可以从一个处所流向另一个处所，如下图所示。

3.4　Source

　　Source是数据的收集端，卖力将数据捕获后进行特殊的格局化，将数据封装到事件（event） 里，然后将事件推入Channel中。