1、需求分析 對輸入文件中數(shù)據(jù)進行就算學生平均成績。輸入文件中的每行內(nèi)容均為一個學生的姓名和他相應的成績，如果有多門學科，則每門學科為一個文件。 要求在輸出中每行有兩個間隔的數(shù)據(jù)，其中，第一個代表學生的姓名，第二個代表其平均成績。
2、原始數(shù)據(jù) 1）math： 張三,88 李四,99 王五,66 趙六,77
2）china： 張三,78 李四,89 王五,96 趙六,67
3）english： 張三,80 李四,82 王五,84 趙六,86
樣本輸出： 張三,82 李四,90 王五,82 趙六,76
package ClassicCaseimport org.apache.spark.{SparkConf, SparkContext}/** * 業(yè)務場景：求平局值 * Created by YJ on 2017/2/8. */object case4 { def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster("local").setAppName("reduce") val sc = new SparkContext(conf) sc.setLogLevel("ERROR") val four = sc.textFile("hdfs://192.168.109.130:8020//user/flume/ClassicCase/case4/*", 3) val a = four.filter(_.trim.length > 0) //數(shù)據(jù)過濾 .map(line => //數(shù)據(jù)整理 (line.trim().split(",")(0), line.trim.split(",")(1).toInt) ) .groupByKey() //按key分組 (張三,CompactBuffer(78, 80, 88)) .map(x => { var num = 0.0 var sum = 0 for (i <- x._2) { //遍歷該值 sum = sum + i num = num + 1 } val avg = sum / num val fm = f"$avg%1.2f" //1.2->取后面兩位小數(shù),格式化數(shù)據(jù) 輸出結(jié)果fm:90.00 fm:82.00 fm:82.00 fm:76.67 李四 90.00 王五 82.00 張三 82.00 趙六 76.67 浮點型變量為 12.46, 整型變量為 2000,字符串為 資源學習!()新聞熱點
疑難解答
