国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 系統 > Linux > 正文

Linux下遠程連接Jupyter+pyspark部署教程

2024-08-28 00:03:47
字體:
來源:轉載
供稿:網友

博主最近試在服務器上進行spark編程,因此,在開始編程作業之前,要先搭建一個便利的編程環境,這樣才能做到舒心地開發。本文主要有以下內容:

1、python多版本管理利器-pythonbrew
2、Jupyter notebooks 安裝與使用以及遠程連接方法
3、Jupyter連接pyspark,實現web端sprak開發

一、python多版本管理利器-pythonbrew

在利用python進行編程開發的時候,很多時候我們需要多個Python版本進行測試,博主之前一直在Python2.x和3.x之間徘徊掙扎,兩者糾纏不清的關系真是令博主心累了一萬年。直至遇到了pythonbrew,它在博主心中泛起的漣漪,久久不能逝去。說到pythonbrew,它是一個python的多版本管理器,可以在多個 Python之間迅速切換,也可以在指定的 Python 版本下測試python程序,更重要的是它還整合了 Virtualenv。所以,當你的電腦里裝了多個python版本,并需要經常切換測試時,pythonbrew就非常適合你。

1.安裝配置pythonbrew

sudo easy_install pythonbrew(easy_install安裝)pip install pythonbrew(pip安裝)

2.添加配置環境到~/.bashrc(或~/.bash_profile)

[[ -s "$HOME/.pythonbrew/etc/bashrc" ]] && source"$HOME/.pythonbrew/etc/bashrc"

然后執行:source ~/.bashrc(或~/.bash_profile)

3.查看系統可以安裝的python版本

[ray@hadoop01 ~]$ pythonbrew list -k# PythonsPython-1.5.2Python-1.6.1Python-2.0.1Python-2.1.3Python-2.2.3Python-2.3.7Python-2.4.6Python-2.5.6Python-2.6.9Python-2.7.10Python-3.0.1Python-3.1.5Python-3.2.5Python-3.3.5Python-3.4.3

4.安裝python

(ps:需要使用curl安裝python,所以需要先安裝curl)

[ray@hadoop01 ~]$ pythonbrew install 3.2.3(版本號)

5.清理安裝后的版本的源碼和安裝包

[ray@hadoop01 ~]$ pythonbrew cleanup

6.選擇一個python版本使用,ps:只在當前終端有效

[ray@hadoop01 ~]$ pythonbrew use 2.7.10(版本號)

7.查看當前pythonbrew下的python版本有哪些(后面有*號表示正在使用)

[ray@hadoop01 ~]$pythonbrew listPython-2.6.7 (*)Python-3.2.3

8.選擇python3.4.3版本作為系統默認版本使用,會把該版本的路徑添加到PATH中

[ray@hadoop01 ~]$ pythonbrew switch 3.4.3

9.取消pythonbrew選擇的版本

[ray@hadoop01 ~]$ pythonbrew off

二、Jupyter notebooks 安裝與使用以及遠程連接方法

作為一只數據分析獅,利用python進行數據分析編程要的就是優雅和細致。如果還能隨時隨地利用任何終端進行數據分析,那不僅是高逼格,更是樂翻天了。而Jupyter notebook便是能幫助我們在web端做開發編程的利器。本節將介紹如果安裝使用jupyter,以及如何遠程連接到服務器端的Jupyter notebook。

1.安裝Jupyter

[ray@hadoop01 ~]$ pip install jupyter

2.Jupyter Notebook遠程服務器配置

1)首先要生成密碼,打開python終端。

In [1]: from IPython.lib import passwdIn [2]: passwd()Enter password:Verify password:Out[2]: 'sha1:0e422dfccef2:84cfbcbb3ef95872fb8e23be3999c123f862d856'

2)接下來生成秘鑰:

[ray@hadoop01 ~]$ openssl req -x509 -nodes -days 365 -newkey rsa:1024 -keyout mycert.pem -out mycert.pem
發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 怀来县| 荥经县| 淮滨县| 霍山县| 通辽市| 格尔木市| 阆中市| 和静县| 琼中| 库尔勒市| 井冈山市| 隆回县| 凌云县| 平舆县| 赣榆县| 城步| 韶山市| 泰顺县| 新龙县| 鄂托克旗| 合川市| 洪泽县| 明光市| 灵川县| 盈江县| 麦盖提县| 车险| 宁陕县| 会泽县| 合江县| 高青县| 绥中县| 木里| 本溪市| 吉隆县| 太仆寺旗| 美姑县| 古浪县| 靖边县| 夹江县| 镇原县|