国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 學院 > 開發設計 > 正文

Spark中DataFrame的schema講解

2019-11-06 06:24:02
字體:
來源:轉載
供稿:網友

1.Schema是什么

         DataFrame中提供了詳細的數據結構信息,從而使得SparkSQL可以清楚地知道該數據集中包含哪些列,每列的名稱和類型各是什么,

DataFrame中的數據結構信息,即為schema。

2.輸出schema

      還是用官網中的people.json的文件,輸出schema,看看schema到底長什么樣子。people.json文件的show()在上一篇文章中已經寫到,

為了大家方便,我再把people.json長啥樣貼出來,如圖:

輸出schema就一行代碼:

df.PRintSchema()

3.完整代碼及結果

完整代碼如下:

object SparkSQLExample {  def main(args: Array[String]) {    val sparkConf = new SparkConf().setMaster("local").setAppName("spark SQL basic example")    val sc = new SparkContext(sparkConf)    val sqlContext = new SQLContext(sc)    val df = new SQLContext(sc).read.json("E://spark-2.1.0//spark-2.1.0//examples//src//main//resources//people.json")    df.show()    df.printSchema()  }}

看截屏不清楚,為了讓大家看的清楚,只截結果:


發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 许昌市| 高州市| 灌阳县| 蕉岭县| 郑州市| 龙川县| 小金县| 剑河县| 萨嘎县| 浦县| 清流县| 神池县| 赫章县| 文成县| 普格县| 靖江市| 佛山市| 隆林| 鄱阳县| 济源市| 县级市| 喀喇沁旗| 瓮安县| 龙州县| 兴山县| 海伦市| 呼伦贝尔市| 新巴尔虎左旗| 吉林市| 阿拉善左旗| 广宗县| 忻州市| 湘乡市| 徐水县| 赣榆县| 德格县| 黑水县| 荃湾区| 湟中县| 西安市| 同仁县|