当前位置：首页 > Windows程序 > 正文

scala用2.11.11 材料准备(注：spark2.1.0环境于scala2.11环境开发

2024-03-31 Windows程序

scala用2.11.11

质料筹备 (注：spark2.1.0环境于scala2.11环境开发，所以必需版本对应
scala不是必需安置的，如果你是筹算使用scala进行spark开发，则需要安置环境搭建法式将spark-2.1.1-bin-hadoop2.x版本至c盘下即可

技术分享图片

将spark中的jar包全部提取出来此外放到一处所用于进行开发

技术分享图片

新建IDEA项目，将所有jar包导入到IDEA工程傍边

技术分享图片

书写相应代码运行即可告成

以Scala书写的WordCount为例

import org.apache.spark._ /** * Created by Joe on 2017/1/16. */ object WordCount { def main(args : Array[String]): Unit = { val inputPath = "wc.txt" val conf = new SparkConf().setMaster("local").setAppName("WordCount") val sc = new SparkContext(conf) val rowRdd = sc.textFile(inputPath) println(rowRdd.take(1).toString) val resultRdd = rowRdd.flatMap(line => line.split("\\s+")) .map(word => (word, 1)).reduceByKey(_ + _) println(resultRdd.take(2).toString) for (data <- resultRdd) { println(data) } sc.stop() } }