当前位置:首页 > Windows程序 > 正文

2.6.0本地idea开发环境

2021-03-27 Windows程序

安装包结构:

Hadoop-2.6.0-Windows.zip - cygwinInstall // cygwin离线安装包 - hadoop-2.6.0-windows.tar.gz // hadoop-2.6.0 windows安装包

PS:

hadoop-2.6.0-windows.tar.gz是基于官方发行包hadoop-2.6.0.tar.gz,并为windows单机测试而自定义的包,改动如下: 1. 在bin目录下,添加了hadoop.dll和winutils.exe 2. 修改了org\apache\hadoop\io\nativeio\NativeIO.java源码第558行 *由于源码有改动,此包不能用于生产环境,只限于windows环境下的开发测试

技术分享

1. 安装cygwin

双击cygwinInstall下的setup-x86_64.exe

选择从本地安装

技术分享

选择安装位置

技术分享

选择本地安装文件位置

技术分享

点击All旁边的default,使其变为Install,再点击下一步即可开始安装

技术分享

2. 安装hadoop

在cygwin的根目录下,建立opt目录,并把安装包拷贝到opt目录下

cd /; mkdir opt

解压

cd /opt; tar xzf hadoop-2.6.0-windows.tar.gz

设置环境变量

设置windows环境变量HADOOP_PREFIX指向hadoop安装目录

技术分享

设置windows环境变量HADOOP_HOME指向hadoop安装目录

技术分享

设置windows环境变量JAVA_HOME指向java安装目录

技术分享

Path环境变量后追加:;%HADOOP_HOME%\bin

~/.bashrc中设置以下环境变量:

export HADOOP_CLASSPATH=$(cygpath -pw $(hadoop classpath)):$HADOOP_CLASSPATH

使~/.bashrc生效,并验证hadoop是否工作

source ~/.bashrc

验证hadoop:

hadoop version

若正常显示版本信息则安装成功

技术分享

运行示例代码,,验证hadoop是否能够运行mapreduce

cd /opt/hadoop-2.6.0; mkdir input; cd input; echo "Hello World" > test

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount input output

若正常执行则显示:

技术分享

在/opt/hadoop-2.6.0/output下会生成part-r-00000文件,包含以下内容:

Hello 1 world 1

3. idea开发环境配置

创建一个mapreduce项目

技术分享

选择项目,按下F12,添加外部依赖

技术分享

添加HADOOP_HOME下必要的jar包

技术分享

进入运行配置

技术分享

配置运行参数

Working directory设置为hadoop安装目录

并设置输入参数

技术分享

调试

和普通java程序一样打断点进行调试

技术分享

温馨提示: 本文由Jm博客推荐,转载请保留链接: https://www.jmwww.net/file/68220.html