当前位置： 首页>后端>正文

【Shell】定期自动备份重要代码的流程

后端2024-10-18 00:47:51

场景：

数据和代码的保存备份十分重要，日常工作和生活中大家可能不会太重视，如果真丢失了可能对项目进度影响很大~
作为SAS编程人员，主要涉及到代码备份。
比如下列场景：

  • 代码文件被同一个项目的其他同事，不小心删掉
  • 代码被同事不小心篡改（Ctrl+A & delect）并保存

1.背景

  • 目前公司好像没有成熟的项目备份工具，大都是自己手动备份自己的code;

  • 服务器上实现备份的目的也有很多方法：scp;cp;rsync(增量备份)；git(增量备份+版本控制);

    git自动备份服务器代码到github

    1.注册一个账号
2.新建一个存储的文件夹/仓库
3.在本地环境生成公钥
4.复制公钥到github账号
5.仓库克隆到本地 
  git clone git@github.com:l***/bkcode.git
6.手动上传
  cd bkcode/
  git add .
  git status
  git commit -m "First commit."
  git push 
7.crontab自动上传

遗憾是AWS中Windows和Linux都没有安装git.下面介绍rsync(date)+crontab 来实现定期增量备份代码.

2.rsync介绍

一般的linux发行版都是预装了rsync工具，所以咱们也可以使用这个工具。

2.1命令语法

rsync [options] from_dir to_dir
rsync -ahzv ~/tools/ ~/sync/$(date +%F) 保存到不同日期的文件夹里面

2.2参数

速度比cp快，提供很多自定义功能

-v : 详细模式输出
-r : 递归拷贝数据，但是传输数据时不保留时间戳和权限
-a : 归档模式, 归档模式总是递归拷贝，而且保留符号链接、权限、属主、属组时间戳
-z : 压缩传输
-h : human-readable ;更加直观的的文件大小，速度显示。
-l : 保持符号连接;
-p : 保持文件原有权限;
-t : 保持文件原有修改时间;
-g : 保持文件原有用户组;
-o : 保持文件原有属主;
--progress： 显示传输过程
--exclude=PATTERN 指定排除传输的文件模式
--include=PATTERN 指定需要传输的文件模式
--delete 同步时，删除那些DST中有，而SRC没有的文件
--max-size：限定传输文件大小的上限
--dry-run：显示那些文件将被传输，并不会实际传输
--bwlimit：限制传输带宽
-W：拷贝文件，不进行增量检测

2.3举例

【Shell】定期自动备份重要代码的流程,第1张

【Shell】定期自动备份重要代码的流程,第2张
img

3.Crontab介绍

https://www.tecmint.com/online-cron-job-generator-and-tester-for-linux/
https://crontab-generator.org/

crontab是linux下用来周期性的执行某种任务或等待处理某些事件的一个守护进程，与windows下的计划任务类似。

3.1 命令语法

  • crontab -e : 执行文字编辑器来设定时程表，内定的文字编辑器是 VI，如果你想用别的文字编辑器，则请先设定 VISUAL 环境变数来指定使用那个文字编辑器(比如说 setenv VISUAL joe)
  • crontab -r : 删除目前的时程表
  • crontab -l : 列出目前的时程表

3.2 举例

[root@localhost ~]# crontab -e

# DT:Execute rsync-sh script every day at 00: 00（注释说明）

* 0 * * * sh /root/tools/shell_rsync.sh

3.3 crontab文件的含义：

用户所建立的crontab文件中，每一行都代表一项任务，每行的每个字段代表一项设置，它的格式共分为六个字段，前五段是时间设定段，第六段是要执行的命令段，格式如下：

minute hour day month week command

其中：

  • minute： 表示分钟，可以是从0到59之间的任何整数。
  • hour：表示小时，可以是从0到23之间的任何整数。
  • day：表示日期，可以是从1到31之间的任何整数。
  • month：表示月份，可以是从1到12之间的任何整数。
  • week：表示星期几，可以是从0到7之间的任何整数，这里的0或7代表星期日。
  • command：要执行的命令，可以是系统命令，也可以是自己编写的脚本文件。
【Shell】定期自动备份重要代码的流程,第3张

在以上各个字段中，还可以使用以下特殊字符：
星号（）：代表所有可能的值，例如month字段如果是星号，则表示在满足其它字段的制约条件后每月都执行该命令操作。
逗号（,）：可以用逗号隔开的值指定一个列表范围，例如，“1,2,5,7,8,9”
中杠（-）：可以用整数之间的中杠表示一个整数范围，例如“2-6”表示“2,3,4,5,6”
正斜线（/）：可以用正斜线指定时间的间隔频率，例如“0-23/2”表示每两小时执行一次。同时正斜线可以和星号一起使用，例如/10，如果用在minute字段，表示每十分钟执行一次

4.rsync+Crontab定期备份数据(*)

##################
## Step1: rsync ##
##################

## 编辑你需要同步的文件
$ touch rsync.sh
#!/bin/bash
rsync -ahzv  /dev/pgm/ ~/sync/ > /dev/null 2>&1  

echo '#!/bin/bash' > rsync.sh
echo 'rsync -ahzv  /dev/pgm/ ~/sync/' >> rsync.sh

# --include '*.sas' --exclude '*.txt'
# ~/sync/$(date +%F)

 

####################
## Step2：crontab ##
####################
$ crontab -e

# DT:Execute rsync-sh script every day at 03: 00
# 每天凌晨三点钟，同步到自己的home目录下；
* 3 * * * sh ~/rsync.sh  > /dev/null 2>&1

5.参考

rsync 使用示例
使用rsync进行文件同步-配置文件
rsync详细参数
SCP和Rsync远程拷贝
文件传输的几种方式
rsync里面include参数介绍
rsync 用法教程-阮一峰
自动备份服务器代码到github
Linux打印显示时间
批量创建文件
Linux rsync命令用法详解
6 Online Tools for Generating and Testing Cron Jobs for Linux

Demo&QA?


https://www.xamrdz.com/backend/3c81994422.html

相关文章：