标签：

1.Hadoop （1）安装配置

基础只需要配置core-site.xml和hdfs-site.xml就行。

参考：

https://www.jianshu.com/p/aa8cfaa26790【这个教程的core-site.xml和hdfs-site.xml的内容弄反了，交换一下就行】

【这是Linux的】

https://blog.csdn.net/Sylarjyd/article/details/91038732【这是包括yarn的配置】

（2）开启Hadoop

命令行：hadoop namenode -format

启动：进入sbin目录，双击start-dfs.cmd【仅启动dfs】或者start-all.cmd【启动所有，包括yarn】

命令行：jps查看进程

（3）查看

通过:8088/即可查看集群所有节点状态

访问:9870/即可查看Hadoop文件管理页面。

2.Spark （1）安装

https://blog.csdn.net/u011513853/article/details/52865076

查看：:4040/jobs/

（2）运行Spark自带的例子：run-example SparkPi

（3）启动master和slave

我一个单机win10怎么弄另外一个master？！！！百度TMD两天，不如Google一下，我也是醉了！！我发誓，一定养成Google习惯，不是非要英语，而是搜索引擎不行！！

ps：spark提交作业，支持多种 cluster manage 类型：Standalone，Apache Mesos，Hadoop YARN ，Kubernetes，这里采用Standalone的伪分布式。 

后来才发现，官方文档https://spark.apache.org/docs/1.6.0/submitting-applications.html也有一丢丢提示，，却没给怎么设置！

原答案：

没有master，新开一个cmd窗口，造一个master，系统会给你分配一个master IP和端口

 

效果：

再开一个cmd窗口，造一个slave

查看spark master的web ui：:8080/

下一节： Spark学习（三）Spark实验部分

Spark学习（二）win10部署Hadoop+Spark

标签：

原文地址：https://www.cnblogs.com/sybil-hxl/p/13297635.html