国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 學院 > 開發設計 > 正文

SparkSQL中DataFrame Operations操作(select、filter、groupBy、count)

2019-11-06 06:08:41
字體:
來源:轉載
供稿:網友

注意:此處用的spark version 1.6.0,版本不同,SparkSQL寫代碼時不太一樣,比如要查詢所有用戶,并且使每一位用戶年齡增加1.

spark 2.1.0寫法為:

df.select($"name", $"age" + 1).show()spark 1.6.0寫法為:
df.select(df("name"),df("age")+1).show()

1.創建DataFrame

val df = new SQLContext(sc).read.json("E://spark-2.1.0//spark-2.1.0//examples//src//main//resources//people.json")

2.查看DataFrame內容

df.show()

結果如圖所示:

3.查看Schema

df.PRintSchema()

4.Select操作

4.1 只查看姓名

df.select("name").show()

4.2 查看所有姓名、年齡

df.select("name","age").show()

4.3 查看所有姓名,同時使每個人年齡增加1

df.select(df("name"),df("age")+1).show() 

注意:不能寫成這樣:

df.select("name","age"+1).show()否則會報如下錯誤:
Exception in thread "main" org.apache.spark.sql.AnalysisException: cannot resolve 'age1' given input columns age, name;

5.Filter操作

查詢年齡大于21的用戶

df.filter(df("age")>21).show()

6.GroupBy操作

按年齡分組查看用戶

df.groupBy("age").count().show()

7.完整代碼

/**  * Created by RiverCode on 2017/3/6.  */object SparkSQLExample {  def main(args: Array[String]) {    val sparkConf = new SparkConf().setMaster("local").setAppName("spark SQL basic example")    val sc = new SparkContext(sparkConf)    val sqlContext = new SQLContext(sc)    val df = new SQLContext(sc).read.json("E://spark-2.1.0//spark-2.1.0//examples//src//main//resources//people.json")    df.show()    df.printSchema()    df.select("name").show()    df.select("name","age").show() // 可以//  df.select("name","age"+1).show() // 不可以cannot resolve 'age1' given input columns age, name;//  df.select($"name",$"age"+1)  // spark 2.1.0 這樣寫    df.select(df("name"),df("age")+1).show()  // spark 1.6.3    df.filter(df("age")>21).show()    df.groupBy("age").count().show()     }}

8.相關文章鏈接

Spark中DataFrame的schema講解:spark中DataFrame的schema講解

http://blog.csdn.net/rivercode/article/details/60604327

spark創建DataFrame:spark創建DataFrame

http://blog.csdn.net/rivercode/article/details/60596079


發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 安塞县| 理塘县| 青州市| 景宁| 大姚县| 兴城市| 公主岭市| 额敏县| 新巴尔虎右旗| 东山县| 永福县| 安图县| 西宁市| 台东市| 曲沃县| 阿拉善左旗| 无棣县| 弋阳县| 五大连池市| 浠水县| 五河县| 神池县| 喜德县| 宁德市| 浏阳市| 祥云县| 扶余县| 息烽县| 崇左市| 乐东| 德令哈市| 通州区| 绥滨县| 珲春市| 方正县| 晋宁县| 昌图县| 黄大仙区| 阜阳市| 淳安县| 永兴县|