国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 學院 > 開發設計 > 正文

spark | 讀數據

2019-11-08 18:21:24
字體:
來源:轉載
供稿:網友

為何要單獨一個博文來記錄讀取數據呢?我覺得讀數據很重要,涉及到不同格式的數據,各式各樣的情況,故而記之。

注意:以python語言為工具

讀csv格式的 本數據有3列# -*- coding:utf-8 -*- from pyspark import SparkContextsc = SparkContext("local[2]", "First Spark App")# we take the raw data in CSV format and convert it into a set of records of the form (user, PRoduct, price)data = sc.textFile("data/UserPurchaseHistory.csv").map(lambda line: line.split(",")).map(lambda record: (record[0], record[1], record[2]))

上面代碼中核心代碼是:

sc.textFile("data/UserPurchaseHistory.csv").map(lambda line: line.split(",")).map(lambda record: (record[0], record[1], record[2]))

第一個map是用于分割,第二個map用于讀取列 采用lambda函數

繼續更新中。。。


上一篇:倒三角形

下一篇:程序員書籍列表

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 阳东县| 镇安县| 开平市| 中西区| 岳普湖县| 馆陶县| 饶河县| 济源市| 元朗区| 兴安盟| 隆化县| 芷江| 任丘市| 泸定县| 睢宁县| 双江| 澄迈县| 洪雅县| 开鲁县| 英吉沙县| 且末县| 衡阳市| 紫云| 将乐县| 吉首市| 盐池县| 扎兰屯市| 肥西县| 武宁县| 白沙| 衡东县| 蚌埠市| 桐城市| 新竹县| 眉山市| 西青区| 奉化市| 凤凰县| 分宜县| 绥芬河市| 巧家县|