1、Flume简单介绍

　　Apache Flume是Cloudera供给的一个高可用的，高可靠的，漫衍式的海量日志收罗、聚合和传输的系统，Flume撑持在日志系统中定制种种数据发送方，用于收集数据；同时，Flume供给对数据进行简单措置惩罚惩罚，并写到各类数据接受方（可定制）的能力。

　　2、Flume体系布局

　　事情流程：

　　（1）外部数据源(web server)将Flume可识另外Event发送到Source;

　　（2）Source收到Event后存储到一个或多个Channel中;

　　（3）Channel保存Event直到Sink将其措置惩罚惩罚完毕;

　　（4）Sink从Channel中取出数据，并将其传输至外部存储（HDFS）

　　组件说明：

　　（1）Event：Flume措置惩罚惩罚数据元，可能是一条日志，一个Avro东西等，，凡是约4kb巨细

　　（2）Agent：Flume运行实体，每台机器一份，可能包孕多个Source或者Sink

　　（3）Client：孕育产生Event，在单独线程中运行

　　（4）Source：接收Event，并送入Channel，在单独线程中运行并监控

　　（5）Sink：从Channel接收Event，可能进行下一步转发（如连与此外某Source通讯），在单独线程中运行并监控