跟天齊老師學(xué)Spark（1）--Spark簡(jiǎn)介

2019-11-11 05:21:50

字體：大中小

供稿：網(wǎng)友

spark官網(wǎng)：http://spark.apache.orgSpark其實(shí)是一個(gè)大數(shù)據(jù)計(jì)算引擎，只能解決計(jì)算的問題，它需要依賴數(shù)據(jù)的存儲(chǔ)系統(tǒng)；Spark不會(huì)取代Hadoop，因?yàn)镠adoop不僅是解決了計(jì)算的問題，它還解決了存儲(chǔ)的問題；spark是apache旗下的一個(gè)開源框架。它的logo：快如閃電的一個(gè)集群。用來做大規(guī)模的數(shù)據(jù)計(jì)算處理。在2016年7月出來spark-2.0版本，我們現(xiàn)在使用的是1.6.2版本；Spark比hadoop的MaPReduce在內(nèi)存中快100倍，即使在磁盤上也比Hadoop快10倍。在Spark的計(jì)算引擎之上有很多強(qiáng)大的工具：spark sql，spark streaming，mllib，graphx。提供一站式計(jì)算服務(wù)（離線計(jì)算、實(shí)時(shí)計(jì)算、機(jī)器學(xué)習(xí)、圖計(jì)算等）。這些都是它的子項(xiàng)目，但是他們都是運(yùn)行在spark的計(jì)算引擎之上。有了spark的話，我們只要一個(gè)spark集群即可。如果用hadoop的話，要維護(hù)hadoop集群，可能還要維護(hù)storm集群。但是如果你的公司搞了2年hadoop相關(guān)的技術(shù)了，現(xiàn)在突然轉(zhuǎn)向spark的話，可能轉(zhuǎn)化的成本比較高。如果你的公司剛開始起步，可以優(yōu)先選擇spark技術(shù)。它的特點(diǎn)：快，易用（java，scala，python，R），通用，運(yùn)行在多平臺(tái)（可以運(yùn)行在yarn這個(gè)資源調(diào)度平臺(tái)上，可以從hdfs中讀數(shù)據(jù)，再寫入hdfs，還可以運(yùn)行在mesos資源調(diào)度平臺(tái)上，spark還可以運(yùn)行在自己獨(dú)立的集群模式上，這就是standalone集群模式，spark還可以運(yùn)行在云上，可以從hdfs中讀數(shù)據(jù)，從hbase中讀數(shù)據(jù)，從cassandra中讀數(shù)據(jù)，還可以跑在S3上）對(duì)spark貢獻(xiàn)排名第一的是一個(gè)華人（美國(guó)伯克利大學(xué)）。還有很多的國(guó)人面孔。

上一篇：PAT甲級(jí)1030

下一篇：淺析C#深拷貝與淺拷貝