1、需求分析 對(duì)輸入文件中數(shù)據(jù)進(jìn)行就算學(xué)生平均成績(jī)。輸入文件中的每行內(nèi)容均為一個(gè)學(xué)生的姓名和他相應(yīng)的成績(jī)，如果有多門學(xué)科，則每門學(xué)科為一個(gè)文件。 要求在輸出中每行有兩個(gè)間隔的數(shù)據(jù)，其中，第一個(gè)代表學(xué)生的姓名，第二個(gè)代表其平均成績(jī)。
2、原始數(shù)據(jù) 1）math： 張三,88 李四,99 王五,66 趙六,77
2）china： 張三,78 李四,89 王五,96 趙六,67
3）english： 張三,80 李四,82 王五,84 趙六,86
樣本輸出： 張三,82 李四,90 王五,82 趙六,76
package ClassicCaseimport org.apache.spark.{SparkConf, SparkContext}/** * 業(yè)務(wù)場(chǎng)景：求平局值 * Created by YJ on 2017/2/8. */object case4 { def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster("local").setAppName("reduce") val sc = new SparkContext(conf) sc.setLogLevel("ERROR") val four = sc.textFile("hdfs://192.168.109.130:8020//user/flume/ClassicCase/case4/*", 3) val a = four.filter(_.trim.length > 0) //數(shù)據(jù)過(guò)濾 .map(line => //數(shù)據(jù)整理 (line.trim().split(",")(0), line.trim.split(",")(1).toInt) ) .groupByKey() //按key分組 (張三,CompactBuffer(78, 80, 88)) .map(x => { var num = 0.0 var sum = 0 for (i <- x._2) { //遍歷該值 sum = sum + i num = num + 1 } val avg = sum / num val fm = f"$avg%1.2f" //1.2->取后面兩位小數(shù),格式化數(shù)據(jù) 輸出結(jié)果fm:90.00 fm:82.00 fm:82.00 fm:76.67 李四 90.00 王五 82.00 張三 82.00 趙六 76.67 浮點(diǎn)型變量為 12.46, 整型變量為 2000,字符串為 資源學(xué)習(xí)!()新聞熱點(diǎn)
疑難解答
圖片精選
網(wǎng)友關(guān)注
