跟天齊老師學Spark（1）--Spark簡介

2019-11-11 03:52:31

字體：大中小

來源：轉載

供稿：網友

spark官網：http://spark.apache.orgSpark其實是一個大數據計算引擎，只能解決計算的問題，它需要依賴數據的存儲系統；Spark不會取代Hadoop，因為Hadoop不僅是解決了計算的問題，它還解決了存儲的問題；spark是apache旗下的一個開源框架。它的logo：快如閃電的一個集群。用來做大規模的數據計算處理。在2016年7月出來spark-2.0版本，我們現在使用的是1.6.2版本；Spark比hadoop的MaPReduce在內存中快100倍，即使在磁盤上也比Hadoop快10倍。在Spark的計算引擎之上有很多強大的工具：spark sql，spark streaming，mllib，graphx。提供一站式計算服務（離線計算、實時計算、機器學習、圖計算等）。這些都是它的子項目，但是他們都是運行在spark的計算引擎之上。有了spark的話，我們只要一個spark集群即可。如果用hadoop的話，要維護hadoop集群，可能還要維護storm集群。但是如果你的公司搞了2年hadoop相關的技術了，現在突然轉向spark的話，可能轉化的成本比較高。如果你的公司剛開始起步，可以優先選擇spark技術。它的特點：快，易用（java，scala，python，R），通用，運行在多平臺（可以運行在yarn這個資源調度平臺上，可以從hdfs中讀數據，再寫入hdfs，還可以運行在mesos資源調度平臺上，spark還可以運行在自己獨立的集群模式上，這就是standalone集群模式，spark還可以運行在云上，可以從hdfs中讀數據，從hbase中讀數據，從cassandra中讀數據，還可以跑在S3上）對spark貢獻排名第一的是一個華人（美國伯克利大學）。還有很多的國人面孔。

上一篇：設計模式之工廠模式(Factory)

下一篇：簡單的輸入輸出流（1）