目录 　　 　　 　　 　　 　　 　　 　　 　　 　　

安置jdk

 

　　要求安置jdk1.8或以上版本。

安置Scala IDE for Eclipse 

 

　　无需特别安置scala，这个IDE里面已经集成了。

　　官方下载：

配置Spark 

 

　　下载Spark，我下载的版本如图所示

　　官方下载：

　　

　　配置环境变量

　　变量名：SPARK_HOME　　变量值：D:\spark    （不能有空格）

　　添加到Path

　　安置pyspark包：

　　命令行执行：pip install pyspark

配置Hadoop 

 

　　无需安置完整的Hadoop，但需要hadoop.dll，winutils.exe等文件。按照下载的Spark版本，，下载相应版本的hadoop2.7.1。 

　　链接：https://pan.baidu.com/s/1jHRu9oE 暗码：wdf9

　　

　　配置环境变量

　　

　　添加到Path

　　

　　重启计算机！！！环境变量才生效！！！

创建Maven工程 

 

　　创建Maven工程可以快速引入项目需要的jar包。pom.xml文件里包罗了一些重要的配置信息。这里供给一个可用的Maven工程：

　　链接：https://pan.baidu.com/s/1hsLAcWc 暗码：nfta

　　导入Maven工程：

　　可以先将我供给的工程拷贝到workspace，然后引入

　　引入后，会自动下载一些jar包，需要期待几分钟

　　下图说明jar包下载完毕

　　报错：

　　改换一下scala的依赖版本：

　　运行wordCount.scala措施 

　　

Scala代码 

 

package com.itmorn.ml import org.apache.spark.{SparkContext, SparkConf} object wordCount { def main(args: Array[String]) { val conf = new SparkConf().setMaster("local").setAppName("wordCount") //创建环境变量 val sc = new SparkContext(conf) //创建环境变量实例 val data = sc.textFile("data/wc.txt") //读取文件 data.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_+_).collect().foreach(println) //word计数 } }

条目7 

 

　　。

条目8 

 

　　。