業務場景：數據排序
1、”數據排序”是許多實際任務執行時要完成的第一項工作， 比如學生成績評比、數據建立索引等。這個實例和數據去重類似，都是先對原始數據進行初步處理，為進一步的數據操作打好基礎。 1）、需求描述 對輸入文件中數據進行排序。輸入文件中的每行內容均為一個數字，即一個數據。 要求在輸出中每行有兩個間隔的數字，其中，第一個代表原始數據在原始數據集中的位次，第二個代表原始數據。
2）輸入文件 file1： 2 32 654 32 15 756 65223
file2： 5956 22 650 92
file3： 26 54 6
樣例輸出： 1 2 2 6 3 15 4 22 5 26 6 32 7 32 8 54 9 92 10 650 11 654 12 756 13 5956 14 65223
package ClassicCaseimport org.apache.spark.{SparkConf, SparkContext}/** * 業務場景：數據排序 * Created by YJ on 2017/2/8. */object case3 { def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster("local").setAppName("reduce") val sc = new SparkContext(conf) sc.setLogLevel("ERROR") val three = sc.textFile("hdfs://192.168.109.130:8020//user/flume/ClassicCase/case3") var idx = 0 //由入輸入文件有多個，產生不同的分區，為了生產序號，使用HashPartitioner將中間的RDD歸約到一起。 import org.apache.spark.HashPartitioner val res = three.filter(_.trim().length>0) //清洗數據 .map(num=>(num.trim.toInt,"")) //轉換數據 .partitionBy(new HashPartitioner(1)) //將所有數據放到一個分區 .sortByKey() //按自然順序排序 .map(t => { //整理輸出格式 idx += 1 (idx,t._1)} ).collect.foreach(x => PRintln(x._1 +"/t" + x._2) ) }}輸出結果: 1 2 2 6 3 15 4 22 5 26 6 32 7 32 8 54 9 92 10 650 11 654 12 756 13 5956 14 65223
新聞熱點
疑難解答
