国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 學院 > 開發設計 > 正文

spark累加器介紹-案例通過累加器統計文章中空白行數量

2019-11-06 06:44:15
字體:
來源:轉載
供稿:網友

1.累加器介紹

累加器(Accumulator)是一種只能通過關聯操作進行“加”操作的變量,因此具有高效的并行計算能力。

2.簡單累加器創建步驟

1.首先,通過accumulator(v)方法創建Accumulator并初始化為0

val accum = sc.accumulator(0)2.然后,通過運算符+= 進行累加操作

x => accum+=x

3.通過value方法讀取累加器的值

accum.value

3.完整代碼及結果

val accum = sc.accumulator(0)sc.parallelize(Array(1,2,3,4)).foreach(x => accum+=x)   PRintln(accum.value) // 10

4.累加器小案例--統計文章中空白行個數

復制下載的spark源碼中的README.md中的幾行,如下圖所示:

       在累加空行的時候,我們通過split函數將單詞切分開,然后輸出到指定的目錄中,可以查看輸出后的結果。

實現代碼鏈接如下:spark中用scala編寫累加器小程序統計文章中空白行

http://download.csdn.net/detail/rivercode/9771759


發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 新宾| 始兴县| 井冈山市| 佛冈县| 咸宁市| 永寿县| 安塞县| 平度市| 额敏县| 宝丰县| 南汇区| 绥德县| 荃湾区| 毕节市| 新河县| 佛学| 洛川县| 龙海市| 乌拉特中旗| 马鞍山市| 浦东新区| 永德县| 庐江县| 横山县| 元江| 商都县| 新余市| 莱州市| 建德市| 栾城县| 正蓝旗| 吉木萨尔县| 墨玉县| 江川县| 卓尼县| 托里县| 屯门区| 邹城市| 靖江市| 察哈| 重庆市|