阿里云ECS服务器部署HADOOP集群(六):Flume 安装
本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建。
1 环境介绍一台阿里云ECS服务器:master
操作系统:CentOS 7.3
Hadoop:hadoop-2.7.3.tar.gz
Java: jdk-8u77-linux-x64.tar.gz
Flume:apache-flume-1.8.0-bin.tar.gz
2 Flume 下载下载 apache-flume-1.8.0-bin.tar.gz 并在合适的位置解压缩,,笔者这里解压缩的路径为:
/usr/local
将解压得到的目录改名为 flume
1 cd /usr/local 2 mv apache-flume-1.8.0-bin/ flume/
3 添加 Flume 环境变量在"/etc/profile"中添加内容:
1 export FLUME_HOME=http://www.mamicode.com/usr/local/flume 2 export PATH=$PATH:$FLUME_HOME/bin
重新加载环境:
source /etc/profile
4 修改 Flume 环境变量1 cd /usr/local/flume/conf 2 cp ./flume-env.sh.template ./flume-env.sh 3 vim ./flume-env.sh
添加内容:
export JAVA_HOME=http://www.mamicode.com/usr/local/jdk1.8
5 验证安装flume-ng version
如果安装成功,则会看到以下内容
Flume 1.8.0
Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git
Revision: 99f591994468633fc6f8701c5fc53e0214b6da4f
Compiled by denes on Fri Sep 15 14:58:00 CEST 2017
From source with checksum fbb44c8c8fb63a49be0a59e27316833d
注意:如果系统里安装了hbase,会出现错误: 找不到或无法加载主类 org.apache.flume.tools.GetJavaProperty。如果没有安装hbase,这一步可以略过。
cd $HBASE_HOME vim hbase-env.sh
1 #1、将hbase的hbase.env.sh的这一行配置注释掉,即在export前加一个# 2 #export HBASE_CLASSPATH=http://www.mamicode.com/home/hadoop/hbase/conf 3 #2、或者将HBASE_CLASSPATH改为JAVA_CLASSPATH,配置如下 4 export JAVA_CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 5 #笔者用的是第一种方法
上述方法出自
6 安装完成阿里云ECS服务器部署HADOOP集群(六):Flume 安装
温馨提示: 本文由Jm博客推荐,转载请保留链接: https://www.jmwww.net/file/web/42948.html