DataFrame中提供了詳細的數據結構信息,從而使得SparkSQL可以清楚地知道該數據集中包含哪些列,每列的名稱和類型各是什么,
DataFrame中的數據結構信息,即為schema。
還是用官網中的people.json的文件,輸出schema,看看schema到底長什么樣子。people.json文件的show()在上一篇文章中已經寫到,
為了大家方便,我再把people.json長啥樣貼出來,如圖:

輸出schema就一行代碼:
df.PRintSchema()3.完整代碼及結果
完整代碼如下:
object SparkSQLExample { def main(args: Array[String]) { val sparkConf = new SparkConf().setMaster("local").setAppName("spark SQL basic example") val sc = new SparkContext(sparkConf) val sqlContext = new SQLContext(sc) val df = new SQLContext(sc).read.json("E://spark-2.1.0//spark-2.1.0//examples//src//main//resources//people.json") df.show() df.printSchema() }}看截屏不清楚,為了讓大家看的清楚,只截結果:
新聞熱點
疑難解答