詳解Docker+Jenkins+Gitlab+Django應用部署實踐

2024-09-01 13:56:22

字體：大中小

來源：轉載

供稿：網友

一、背景介紹

在互聯網應用快速更新迭代的大背景下，傳統的人工手動或簡單腳本已經不能適應此變化，此時Devops為我們提供了良好的解決方案，應用好CI/CD可以大大的方便我們的日常工作，自動化快速的持續集成/持續交付為我們帶來了應用開放的更快速度、更好的穩定性和更強的可靠性。

二、拓撲環境

2.1 架構拓撲

Docker,Jenkins,Gitlab,Django

如上圖實例，簡單花了下流程拓撲：

當研發push本地代碼到gitlab-server后，webhook自動觸發jenkins構建應用
在docker host上部署應用git clone來自gitlabserver源碼，并啟動應用
前端可以放置lb來做高可用
數據庫連接云數據庫
可將日志存儲在log后期投遞到elk實現日志可視化
構建完成郵件通知相關人員（測試或開放）

2.2 系統軟件版本

名稱	版本
Linux系統	CentOS7.3 64位
Docker	1.13
Django	2.0

三、安裝部署

3.1 Jenkins安裝部署

Jenkins安裝部署可參考：jenkins筆記

安裝完成后添加Docker目標服務器

Docker,Jenkins,Gitlab,Django

配置郵件發送服務器

Docker,Jenkins,Gitlab,Django

3.2 Docker安裝部署

Docker安裝部署及Dockerfile編寫可參考：容器Docker詳解

3.3 Gitlab安裝部署

GitLab安裝在公網Linux服務器運行一些命令即可，如果沒有公網需要手動修改 /etc/gitlab/gitlab.rb 文件的 external_url 'http://自己的內網IP'

yum install -y libsemanage-static libsemanage-devel policycoreutils openssh-server openssh-clients postfixsystemctl enable postfix && systemctl start postfixwget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/gitlab-ce-8.0.0-ce.0.el7.x86_64.rpmrpm -i gitlab-ce-8.0.0-ce.0.el7.x86_64.rpm# 獲取公網IPPUBLICIP=$(curl http://ipv4.icanhazip.com)# 修改sed -i "s/gitlab-server/${PUBLICIP}/g" /etc/gitlab/gitlab.rbgitlab-ctl reconfiguregitlab-ctl restartecho "Username:root"echo "Password:5iveL!fe"

3.4 配置發布流程

Jenkins新建構建一個自由風格的軟件項目

Docker,Jenkins,Gitlab,Django

利用參數化構建方便后續部署Docker傳入映射的源端口和release

Docker,Jenkins,Gitlab,Django

源代碼來自gitlab的django項目

Docker,Jenkins,Gitlab,Django

利用webhook關聯gitlab和jenkins

jenkins安裝插件：

Docker,Jenkins,Gitlab,Django

生成隨機token值

Docker,Jenkins,Gitlab,Django

將jenkins生成的GitLab webhook URL配置到gitlab

Docker,Jenkins,Gitlab,Django

當開發者在本地push代碼后自動觸發jenkins構建項目，有Dockerfile內寫的git pull代碼，再次不用將代碼由jenkins分發到docker宿主機，jenkins作為觸發docker構建使用

Docker,Jenkins,Gitlab,Django

配置構建完成后的郵件

郵件模版，郵件類型選擇：

內容類型選擇：HTML

郵件主題填寫： 構建通知:${BUILD_STATUS} - ${PROJECT_NAME} - Build # ${BUILD_NUMBER} !

構建通知模版：

<!DOCTYPE html><html><head><meta charset="UTF-8"><title>${ENV, var="JOB_NAME"}-第${BUILD_NUMBER}次構建日志</title></head><body leftmargin="8" marginwidth="0" topmargin="8" marginheight="4" offset="0"> <table width="95%" cellpadding="0" cellspacing="0" style="font-size: 11pt; font-family: Tahoma, Arial, Helvetica, sans-serif"> <tr>  <td>(本郵件是程序自動下發的，請勿回復！)</td> </tr> <tr>  <td><h2>   <font color="#0000FF">構建結果 - ${BUILD_STATUS}</font>  </h2></td> </tr> <tr>  <td><br />  <b><font color="#0B610B">構建信息</font></b>  <hr size="2" width="100%" align="center" /></td> </tr> <tr>  <td>  <ul>   <li>項目名稱 ： ${PROJECT_NAME}</li>   <li>構建編號 ： 第${BUILD_NUMBER}次構建</li>   <li>SVN 版本： ${SVN_REVISION}</li>   <li>觸發原因： ${CAUSE}</li>   <li>構建日志： <a href="${BUILD_URL}console">${BUILD_URL}console</a></li>   <li>構建 Url ： <a href="${BUILD_URL}">${BUILD_URL}</a></li>   <li>工作目錄 ： <a href="${PROJECT_URL}ws">${PROJECT_URL}ws</a></li>   <li>項目 Url ： <a href="${PROJECT_URL}">${PROJECT_URL}</a></li>  </ul>  </td> </tr> <tr>  <td><b><font color="#0B610B">Changes Since Last   Successful Build:</font></b>  <hr size="2" width="100%" align="center" /></td> </tr> <tr>  <td>  <ul>   <li>歷史變更記錄 : <a href="${PROJECT_URL}changes">${PROJECT_URL}changes</a></li>  </ul> ${CHANGES_SINCE_LAST_SUCCESS,reverse=true, format="Changes for Build #%n:<br />%c<br />",showPaths=true,changesFormat="<pre>[%a]<br />%m</pre>",pathFormat=" %p"}  </td> </tr> <tr>  <td><b>Failed Test Results</b>  <hr size="2" width="100%" align="center" /></td> </tr> <tr>  <td><pre   style="font-size: 11pt; font-family: Tahoma, Arial, Helvetica, sans-serif">$FAILED_TESTS</pre>  <br /></td> </tr> <tr>  <td><b><font color="#0B610B">構建日志 (最后 100行):</font></b>  <hr size="2" width="100%" align="center" /></td> </tr> <!-- <tr>  <td>Test Logs (if test has ran): <a  href="${PROJECT_URL}ws/TestResult/archive_logs/Log-Build-${BUILD_NUMBER}.zip">${PROJECT_URL}/ws/TestResult/archive_logs/Log-Build-${BUILD_NUMBER}.zip</a>  <br />  <br />  </td> </tr> --> <tr>  <td><textarea cols="80" rows="30" readonly="readonly"   style="font-family: Courier New">${BUILD_LOG, maxLines=100}</textarea>  </td> </tr> </table></body></html>

觸發類型可根據自身需要填寫，這里填寫always無論成功還是失敗都發送郵件

Docker,Jenkins,Gitlab,Django

查看遠程Docker服務器內的文件

Docker,Jenkins,Gitlab,Django

django部署已經利用conda打包好了項目的Python3.6的環境包自制了Docker鏡像

Docker,Jenkins,Gitlab,Django

之前利用的是純凈的Python3.6系統，在每次構建的時候利用pip安裝requirements.txt的模塊，但是長此以往由于環境變化很少，每次需要pip安裝耗時，所以利用conda將打包好的Python環境自制成定制化環境，以此來減少環境部署時間，也可以通過docker鏡像制作是-v參數將本地磁盤掛載在環境內，每次構建本地的conda即可，完成快速環境部署。

查看Dockerfile

FROM 87a69025db6aMAINTAINER kaliarch# 定義docker中工作目錄ENV WORK_DIR /work/# 創建docker內工作目錄RUN mkdir $WORK_DIR# 定義映射端口EXPOSE 80WORKDIR $WORK_DIR RUN git clone http://123.xxxx.xxxxx.245/Devops/go2cloud.git# 添加啟動服務腳本ADD *.sh ${WORK_DIR}CMD `which bash` /work/start_all.sh && tail -f /work/logs/server-$(date +%F).log

查看Django啟動腳本

#!/bin/bashBASEPATH=$(cd `dirname $0`;pwd)PY_CMD=/python3/bin/python# 服務入口文件#MAIN_APP=${BASEPATH}/go2cloud/manage.py # 遷移腳本入口文件SCRIPTS_APP=${BASEPATH}/go2cloud/scripts/migrate_task_schdule.py# 刪除腳本入口文件DELETE_APP=${BASEPATH}/go2cloud/scripts/delete_transfer_server.py# 日志目錄LOG_DIR=${BASEPATH}/logs/[ ! -d ${LOG_DIR} ] && mkdir ${LOG_DIR}# 啟動服務#nohup ${PY_CMD} -u ${MAIN_APP} runserver 0.0.0.0:80 >> ${LOG_DIR}server-$(date +%F).log 2>&1 &# 啟動腳本遷移調度腳本echo "---------$0 $(date) excute----------" >> ${LOG_DIR}task-script-$(date +%F).lognohup ${PY_CMD} -u ${SCRIPTS_APP} >> ${LOG_DIR}script-$(date +%F).log 2>&1 &# 啟動遷移刪除腳本echo "---------$0 $(date) excute----------" >> ${LOG_DIR}delete-script-$(date +%F).lognohup ${PY_CMD} -u ${DELETE_APP} >> ${LOG_DIR}delete-script-$(date +%F).log 2>&1 &

查看jenkins部署腳本

#!/bin/bashrelease=$1port=$2BASEPATH=$(cd `dirname $0`;pwd)# 構建go2cloud-platform 鏡像cd /dockerworkdocker build -t go2cloud-platform-mini:$release .IMGNAME=$(docker images|awk -v release=$release '{if($1=="go2cloud-platform-mini" && $2==release) print $3}')echo $IMGNAME# 啟動容器docker run -d -p ${port}:80 -v /testlog/:/work/logs ${IMGNAME}

利用-v參數將日志持續化存儲到docker 宿主機之上

四、測試展示

4.1 測試構建

手動構建測試

Docker,Jenkins,Gitlab,Django