2.6.0本地idea开发环境
安装包结构:
Hadoop-2.6.0-Windows.zip - cygwinInstall // cygwin离线安装包 - hadoop-2.6.0-windows.tar.gz // hadoop-2.6.0 windows安装包PS:
hadoop-2.6.0-windows.tar.gz是基于官方发行包hadoop-2.6.0.tar.gz,并为windows单机测试而自定义的包,改动如下: 1. 在bin目录下,添加了hadoop.dll和winutils.exe 2. 修改了org\apache\hadoop\io\nativeio\NativeIO.java源码第558行 *由于源码有改动,此包不能用于生产环境,只限于windows环境下的开发测试双击cygwinInstall下的setup-x86_64.exe
选择从本地安装
选择安装位置
选择本地安装文件位置
点击All旁边的default,使其变为Install,再点击下一步即可开始安装
在cygwin的根目录下,建立opt目录,并把安装包拷贝到opt目录下
cd /; mkdir opt
解压
cd /opt; tar xzf hadoop-2.6.0-windows.tar.gz
设置环境变量
设置windows环境变量HADOOP_PREFIX指向hadoop安装目录
设置windows环境变量HADOOP_HOME指向hadoop安装目录
设置windows环境变量JAVA_HOME指向java安装目录
Path环境变量后追加:;%HADOOP_HOME%\bin
~/.bashrc中设置以下环境变量:
export HADOOP_CLASSPATH=$(cygpath -pw $(hadoop classpath)):$HADOOP_CLASSPATH
使~/.bashrc生效,并验证hadoop是否工作
source ~/.bashrc
验证hadoop:
hadoop version
若正常显示版本信息则安装成功
运行示例代码,,验证hadoop是否能够运行mapreduce
cd /opt/hadoop-2.6.0; mkdir input; cd input; echo "Hello World" > test
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount input output
若正常执行则显示:
在/opt/hadoop-2.6.0/output下会生成part-r-00000文件,包含以下内容:
Hello 1 world 1 3. idea开发环境配置创建一个mapreduce项目
选择项目,按下F12,添加外部依赖
添加HADOOP_HOME下必要的jar包
进入运行配置
配置运行参数
Working directory设置为hadoop安装目录
并设置输入参数
调试
和普通java程序一样打断点进行调试
温馨提示: 本文由Jm博客推荐,转载请保留链接: https://www.jmwww.net/file/68220.html
- 上一篇:Windows下创建静态库
- 下一篇:C#模拟PrtScn实现截屏