当前位置: 首页>后端>正文

jenkins如何部署微服务 jenkins部署django

一、背景介绍

在互联网应用快速更新迭代的大背景下,传统的人工手动或简单脚本已经不能适应此变化,此时Devops为我们提供了良好的解决方案,应用好CI/CD可以大大的方便我们的日常工作,自动化快速的持续集成/持续交付为我们带来了应用开放的更快速度、更好的稳定性和更强的可靠性。

二、拓扑环境

2.1 架构拓扑

jenkins如何部署微服务 jenkins部署django,jenkins如何部署微服务 jenkins部署django_docker,第1张

如上图实例,简单花了下流程拓扑:

  • 当研发push本地代码到gitlab-server后,webhook自动触发jenkins构建应用
  • 在docker host上部署应用git clone来自gitlabserver源码,并启动应用
  • 前端可以放置lb来做高可用
  • 数据库连接云数据库
  • 可将日志存储在log后期投递到elk实现日志可视化
  • 构建完成邮件通知相关人员(测试或开放)
2.2 系统软件版本

名称

版本

Linux系统

CentOS7.3 64位

Docker

1.13

Django

2.0

三、安装部署

3.1 Jenkins安装部署

Jenkins安装部署可参考:jenkins笔记

  • 安装完成后添加Docker目标服务器

jenkins如何部署微服务 jenkins部署django,jenkins如何部署微服务 jenkins部署django_jenkins如何部署微服务_02,第2张

  • 配置邮件发送服务器

jenkins如何部署微服务 jenkins部署django,jenkins如何部署微服务 jenkins部署django_docker_03,第3张

3.2 Docker安装部署

Docker安装部署及Dockerfile编写可参考:容器Docker详解

3.3 Gitlab安装部署

GitLab安装在公网Linux服务器运行一些命令即可,如果没有公网需要手动修改 /etc/gitlab/gitlab.rb文件的external_url 'http://自己的内网IP'

yum install -y libsemanage-static libsemanage-devel policycoreutils openss
h-server openssh-clients postfix
systemctl enable postfix && systemctl start postfix

wget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/gitlab-ce-8.0.
0-ce.0.el7.x86_64.rpm
rpm -i gitlab-ce-8.0.0-ce.0.el7.x86_64.rpm
# 获取公网IP
PUBLICIP=$(curl http://ipv4.icanhazip.com)
# 修改
sed -i "s/gitlab-server/${PUBLICIP}/g" /etc/gitlab/gitlab.rb

gitlab-ctl reconfigure
gitlab-ctl restart

echo "Username:root"
echo "Password:5iveL!fe"
3.4 配置发布流程
  • Jenkins新建构建一个自由风格的软件项目

jenkins如何部署微服务 jenkins部署django,jenkins如何部署微服务 jenkins部署django_python_04,第4张

  • 利用参数化构建方便后续部署Docker传入映射的源端口和release

jenkins如何部署微服务 jenkins部署django,jenkins如何部署微服务 jenkins部署django_python_05,第5张

  • 源代码来自gitlab的django项目

jenkins如何部署微服务 jenkins部署django,jenkins如何部署微服务 jenkins部署django_jenkins如何部署微服务_06,第6张

  • 利用webhook关联gitlab和jenkins

jenkins安装插件:

jenkins如何部署微服务 jenkins部署django,jenkins如何部署微服务 jenkins部署django_运维_07,第7张

生成随机token值

jenkins如何部署微服务 jenkins部署django,jenkins如何部署微服务 jenkins部署django_docker_08,第8张

将jenkins生成的GitLab webhook URL配置到gitlab

jenkins如何部署微服务 jenkins部署django,jenkins如何部署微服务 jenkins部署django_jenkins如何部署微服务_09,第9张

jenkins如何部署微服务 jenkins部署django,jenkins如何部署微服务 jenkins部署django_docker_10,第10张

  • 当开发者在本地push代码后自动触发jenkins构建项目,有Dockerfile内写的git pull代码,再次不用将代码由jenkins分发到docker宿主机,jenkins作为触发docker构建使用

jenkins如何部署微服务 jenkins部署django,jenkins如何部署微服务 jenkins部署django_jenkins如何部署微服务_11,第11张

  • 配置构建完成后的邮件

邮件模版,邮件类型选择:
内容类型选择:HTML
邮件主题填写:构建通知:${BUILD_STATUS} - ${PROJECT_NAME} - Build # ${BUILD_NUMBER} !构建通知模版:

<!DOCTYPE html>
<html>
<head>
<meta charset="UTF-8">
<title>${ENV, var="JOB_NAME"}-第${BUILD_NUMBER}次构建日志</title>
</head>

<body leftmargin="8" marginwidth="0" topmargin="8" marginheight="4"
    offset="0">
    <table width="95%" cellpadding="0" cellspacing="0"
        style="font-size: 11pt; font-family: Tahoma, Arial, Helvetica, sans-serif">
        <tr>
            <td>(本邮件是程序自动下发的,请勿回复!)</td>
        </tr>
        <tr>
            <td><h2>
                    <font color="#0000FF">构建结果 - ${BUILD_STATUS}</font>
                </h2></td>
        </tr>
        <tr>
            <td><br />
            <b><font color="#0B610B">构建信息</font></b>
            <hr size="2" width="100%" align="center" /></td>
        </tr>
        <tr>
            <td>
                <ul>
                    <li>项目名称 : ${PROJECT_NAME}</li>
                    <li>构建编号 : 第${BUILD_NUMBER}次构建</li>
                    <li>SVN 版本: ${SVN_REVISION}</li>
                    <li>触发原因: ${CAUSE}</li>
                    <li>构建日志: <a href="${BUILD_URL}console">${BUILD_URL}console</a></li>
                    <li>构建  Url : <a href="${BUILD_URL}">${BUILD_URL}</a></li>
                    <li>工作目录 : <a href="${PROJECT_URL}ws">${PROJECT_URL}ws</a></li>
                    <li>项目  Url : <a href="${PROJECT_URL}">${PROJECT_URL}</a></li>
                </ul>
            </td>
        </tr>
        <tr>
            <td><b><font color="#0B610B">Changes Since Last
                        Successful Build:</font></b>
            <hr size="2" width="100%" align="center" /></td>
        </tr>
        <tr>
            <td>
                <ul>
                    <li>历史变更记录 : <a href="${PROJECT_URL}changes">${PROJECT_URL}changes</a></li>
                </ul> ${CHANGES_SINCE_LAST_SUCCESS,reverse=true, format="Changes for Build #%n:<br />%c<br />",showPaths=true,changesFormat="<pre>[%a]<br />%m</pre>",pathFormat="    %p"}
            </td>
        </tr>
        <tr>
            <td><b>Failed Test Results</b>
            <hr size="2" width="100%" align="center" /></td>
        </tr>
        <tr>
            <td><pre
                    style="font-size: 11pt; font-family: Tahoma, Arial, Helvetica, sans-serif">$FAILED_TESTS</pre>
                <br /></td>
        </tr>
        <tr>
            <td><b><font color="#0B610B">构建日志 (最后 100行):</font></b>
            <hr size="2" width="100%" align="center" /></td>
        </tr>
        <!-- <tr>
            <td>Test Logs (if test has ran): <a
                href="${PROJECT_URL}ws/TestResult/archive_logs/Log-Build-${BUILD_NUMBER}.zip">${PROJECT_URL}/ws/TestResult/archive_logs/Log-Build-${BUILD_NUMBER}.zip</a>
                <br />
            <br />
            </td>
        </tr> -->
        <tr>
            <td><textarea cols="80" rows="30" readonly="readonly"
                    style="font-family: Courier New">${BUILD_LOG, maxLines=100}</textarea>
            </td>
        </tr>
    </table>
</body>
</html>

触发类型可根据自身需要填写,这里填写always无论成功还是失败都发送邮件

jenkins如何部署微服务 jenkins部署django,jenkins如何部署微服务 jenkins部署django_git_12,第12张

  • 查看远程Docker服务器内的文件

jenkins如何部署微服务 jenkins部署django,jenkins如何部署微服务 jenkins部署django_git_13,第13张

  • django部署已经利用conda打包好了项目的Python3.6的环境包自制了Docker镜像

之前利用的是纯净的Python3.6系统,在每次构建的时候利用pip安装requirements.txt的模块,但是长此以往由于环境变化很少,每次需要pip安装耗时,所以利用conda将打包好的Python环境自制成定制化环境,以此来减少环境部署时间,也可以通过docker镜像制作是-v参数将本地磁盘挂载在环境内,每次构建本地的conda即可,完成快速环境部署。

查看Dockerfile

FROM 87a69025db6a
MAINTAINER kaliarch

# 定义docker中工作目录
ENV WORK_DIR /work/
# 创建docker内工作目录
RUN mkdir $WORK_DIR
# 定义映射端口

EXPOSE 80

WORKDIR $WORK_DIR 
RUN git clone http://123.xxxx.xxxxx.245/Devops/go2cloud.git

# 添加启动服务脚本
ADD *.sh ${WORK_DIR}

CMD `which bash` /work/start_all.sh && tail -f /work/logs/server-$(date +%F).log

查看Django启动脚本

#!/bin/bash

BASEPATH=$(cd `dirname #!/bin/bash

release=
port=

BASEPATH=$(cd `dirname 

四、测试展示

`;pwd) # 构建go2cloud-platform 镜像 cd /dockerwork docker build -t go2cloud-platform-mini:$release . IMGNAME=$(docker images|awk -v release=$release '{if(=="go2cloud-platform-mini" && ==release) print }') echo $IMGNAME # 启动容器 docker run -d -p ${port}:80 -v /testlog/:/work/logs ${IMGNAME}
`;pwd) PY_CMD=/python3/bin/python # 服务入口文件 #MAIN_APP=${BASEPATH}/go2cloud/manage.py # 迁移脚本入口文件 SCRIPTS_APP=${BASEPATH}/go2cloud/scripts/migrate_task_schdule.py # 删除脚本入口文件 DELETE_APP=${BASEPATH}/go2cloud/scripts/delete_transfer_server.py # 日志目录 LOG_DIR=${BASEPATH}/logs/ [ ! -d ${LOG_DIR} ] && mkdir ${LOG_DIR} # 启动服务 #nohup ${PY_CMD} -u ${MAIN_APP} runserver 0.0.0.0:80 >> ${LOG_DIR}server-$(date +%F).log 2>&1 & # 启动脚本迁移调度脚本 echo "---------
4.1 测试构建
$(date) excute----------" >> ${LOG_DIR}task-script-$(date +%F).log nohup ${PY_CMD} -u ${SCRIPTS_APP} >> ${LOG_DIR}script-$(date +%F).log 2>&1 & # 启动迁移删除脚本 echo "---------
4.2 查看log
$(date) excute----------" >> ${LOG_DIR}delete-script-$(date +%F).log nohup ${PY_CMD} -u ${DELETE_APP} >> ${LOG_DIR}delete-script-$(date +%F).log 2>&1 &

查看jenkins部署脚本

4.3 查看docker容器

利用-v参数将日志持续化存储到docker 宿主机之上

4.4 测试app

五、反思改进

手动构建测试

jenkins如何部署微服务 jenkins部署django,jenkins如何部署微服务 jenkins部署django_运维_14,第14张

  • 目前数据库连接的为云服务器搭建的数据库,后期数据库也利用docker,多组采用docker-compose统一部署管理
  • jenkins如何部署微服务 jenkins部署django,jenkins如何部署微服务 jenkins部署django_git_15,第15张

    jenkins如何部署微服务 jenkins部署django,jenkins如何部署微服务 jenkins部署django_python_16,第16张

    jenkins如何部署微服务 jenkins部署django,jenkins如何部署微服务 jenkins部署django_jenkins如何部署微服务_17,第17张

  • 后期可以利用利用公有云k8s集群进行方便测试
  • jenkins如何部署微服务 jenkins部署django,jenkins如何部署微服务 jenkins部署django_python_18,第18张

  • 目前docker容器产生的日志在docker宿主机上,后期可以将其存储在cos上,再投递到elk集群日志可视化处理
  • jenkins如何部署微服务 jenkins部署django,jenkins如何部署微服务 jenkins部署django_python_19,第19张

  • 将镜像统一管理制作本地镜像仓库
    • gitlab添加code review并结合自动测试


    转载于:https://blog.51cto.com/kaliarch/2337551


    https://www.xamrdz.com/backend/3w51963513.html

    相关文章: