CentOS之间rsync做文件增量(备份)同步-程序员宅基地

技术标签: 运维  数据库  

服务器

  • 192.168.0.248:本地服务器
  • 47.56.34.2:远程服务器

目的

将远程服务器数据同步到本地服务器

前提

两台服务器安装rsync和crontabs
yum install -y rsync
yum install -y crontabs

设置免密登陆

在本地服务器中执行
# 产生key
ssh-keygen -t rsa
# 拷贝到远程服务器
ssh-copy-id -i /root/.ssh/id_rsa.pub  "-p22 [email protected]"
# 免密登陆
ssh -p 22 [email protected]

执行命令进行文件同步

rsync -vzrtopg --progress --delete -e 'ssh -p 22' [email protected]:/root/fileUpload /home/backup/fileUpload/
# 输出日志
rsync -vzrtopg --progress --delete -e 'ssh -p 22' [email protected]:/root/fileUpload /home/backup/fileUpload/ 1> /home/logs/rsync.log 2>&1

采用crond定时同步

# 在本地服务器上,定时同步
0 2 * * * root /home/backup/script/auto_rsync.sh
# 在远程服务器上,定时备份数据库
0 2 * * * root /root/backup/script/auto_mysqldump.sh

同步脚本

备份数据库脚本auto_mysqldump.sh
#!/bin/bash
DATE="$(date +%F)"
backup_dir=/root/backup/database
mysqldump -uroot -pAsdf@123 pms > ${backup_dir}/pms-${DATE}.sql
​
​
# 只保留前100个
lPkgList=($(ls "${backup_dir}" | sort -nr))
for ((j=100; j<${#lPkgList[@]}; ++j)); do
        rm -rf "${backup_dir}/${lPkgList[$j]}"
done
备份文件脚本auto_rsync.sh
#!/bin/bash
rsync -vzrtopg --progress --delete -e 'ssh -p 22' [email protected]:/root/fileUpload /home/backup/fileUpload/ 1> /home/logs/rsync.log 2>&1 
rsync -vzrtopg --progress --delete -e 'ssh -p 22' [email protected]:/root/backup/database /home/backup/database/ 1> /home/logs/rsync-database.log 2>&1 

命令详细使用方法

http://man.linuxde.net/rsync

-v, --verbose 详细模式输出。
-q, --quiet 精简输出模式。
-c, --checksum 打开校验开关,强制对文件传输进行校验。
-a, --archive 归档模式,表示以递归方式传输文件,并保持所有文件属性,等于-rlptgoD。
-r, --recursive 对子目录以递归模式处理。
-R, --relative 使用相对路径信息。
-b, --backup 创建备份,也就是对于目的已经存在有同样的文件名时,将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。
--backup-dir 将备份文件(如~filename)存放在在目录下。
-suffix=SUFFIX 定义备份文件前缀。
-u, --update 仅仅进行更新,也就是跳过所有已经存在于DST,并且文件时间晚于要备份的文件,不覆盖更新的文件。
-l, --links 保留软链结。
-L, --copy-links 想对待常规文件一样处理软链结。
--copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结。
--safe-links 忽略指向SRC路径目录树以外的链结。
-H, --hard-links 保留硬链结。
-p, --perms 保持文件权限。
-o, --owner 保持文件属主信息。
-g, --group 保持文件属组信息。
-D, --devices 保持设备文件信息。
-t, --times 保持文件时间信息。
-S, --sparse 对稀疏文件进行特殊处理以节省DST的空间。
-n, --dry-run现实哪些文件将被传输。
-w, --whole-file 拷贝文件,不进行增量检测。
-x, --one-file-system 不要跨越文件系统边界。
-B, --block-size=SIZE 检验算法使用的块尺寸,默认是700字节。
-e, --rsh=command 指定使用rsh、ssh方式进行数据同步。
--rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息。
-C, --cvs-exclude 使用和CVS一样的方法自动忽略文件,用来排除那些不希望传输的文件。
--existing 仅仅更新那些已经存在于DST的文件,而不备份那些新创建的文件。
--delete 删除那些DST中SRC没有的文件。
--delete-excluded 同样删除接收端那些被该选项指定排除的文件。
--delete-after 传输结束以后再删除。
--ignore-errors 及时出现IO错误也进行删除。
--max-delete=NUM 最多删除NUM个文件。
--partial 保留那些因故没有完全传输的文件,以是加快随后的再次传输。
--force 强制删除目录,即使不为空。
--numeric-ids 不将数字的用户和组id匹配为用户名和组名。
--timeout=time ip超时时间,单位为秒。
-I, --ignore-times 不跳过那些有同样的时间和长度的文件。
--size-only 当决定是否要备份文件时,仅仅察看文件大小而不考虑文件时间。
--modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口,默认为0。
-T --temp-dir=DIR 在DIR中创建临时文件。
--compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份。
-P 等同于 --partial。
--progress 显示备份过程。
-z, --compress 对备份的文件在传输时进行压缩处理。
--exclude=PATTERN 指定排除不需要传输的文件模式。
--include=PATTERN 指定不排除而需要传输的文件模式。
--exclude-from=FILE 排除FILE中指定模式的文件。
--include-from=FILE 不排除FILE指定模式匹配的文件。
--version 打印版本信息。
--address 绑定到特定的地址。
--config=FILE 指定其他的配置文件,不使用默认的rsyncd.conf文件。
--port=PORT 指定其他的rsync服务端口。
--blocking-io 对远程shell使用阻塞IO。
-stats 给出某些文件的传输状态。
--progress 在传输时现实传输过程。
--log-format=formAT 指定日志文件格式。
--password-file=FILE 从FILE中得到密码。
--bwlimit=KBPS 限制I/O带宽,KBytes per second。
-h, --help 显示帮助信息。

问题

遇到ssh修改了默认的端口22不能免密钥登录解决方法:

vim /etc/ssh/sshd_config
去掉以下三行之前的#
RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile      .ssh/authorized_keys

重启ssh服务service sshd restart 重新产生秘钥,并上传公钥到另外一台服务器。

转载请注明:思戀 » CentOS之间rsync做文件增量(备份)同步

转载于:https://my.oschina.net/u/568047/blog/3073601

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/chengxiang89228/article/details/100992609

智能推荐

Springboot+Websocket Client+断线重连的例子_org.java_websocket.client.websocketclient 实现断开 重试、-程序员宅基地

文章浏览阅读3.4k次,点赞3次,收藏14次。# 开发环境IDEA+JDK1.8pom引入 <!--websocket作为客户端--> <dependency> <groupId>org.java-websocket</groupId> <artifactId>Java-WebSocket</artifactId> <version>1.3.5</version>_org.java_websocket.client.websocketclient 实现断开 重试、重连机制

详解Python字典的底层原理——哈希表(Python面试必备)_python中字典的底层实现原理-程序员宅基地

文章浏览阅读1w次,点赞22次,收藏93次。详解Python字典的底层原理————哈希表(Python面试必备)作者:Loren no hurry2019-06-9Python面试经常会被问到:你能说一说Python字典的底层实现原理吗?这个问题可以从三个方面来回答:1.python字典及其特性字典是Python的一种可变、无序容器数据结构,它的元素以键值对的形式存在,键值唯一,它的特点搜索速度很快:数据量增加10000倍,..._python中字典的底层实现原理

CSAPP深入理解操作系统 课程实验 bomb 反向编译 汇编(3)_boompack 反编译-程序员宅基地

文章浏览阅读5.5k次,点赞8次,收藏29次。第四关: 首先也是栈开辟:然后由第三关以及前面对sscanf函数的分析可知,这里应该也是要输入两个数。参数1从-0xc(%ebp)加载,参数2从-0x10(%ebp)处加载。0x804a23e应该里面的内容也是sscanf的输入格式之类的。返回值要等于2,不然会引爆炸弹。接一下来一段说明输入的第一个参数的范围要在0-14之间接下来,赋初始_boompack 反编译

Java8新特性 - ZoneDateTime 了解_java zoneddatetime-程序员宅基地

文章浏览阅读1.6k次。1.地理知识 : 时区图2. ZoneDateTime 类ZoneDateTime : 是带时区的日期时间类。区别于 LocalDateTime 类,LocalDateTime 类是 默认时区的日期时间类,中国默认的 时区是 【东八区】。因此,当LocalDateTime 手动指定 时区后 就变成了ZoneDateTime。时区id 可以通过ZoneId类的API 直接获取。3. 相关的API 代码下面简单演示一下相关的操作package com.northcastle.K_Date_java zoneddatetime

研究生课题_fdsst-程序员宅基地

文章浏览阅读352次,点赞2次,收藏2次。FXGroup研究生课题_fdsst

CMake与Make最简单直接的区别_cmake与qcmake的区别-程序员宅基地

文章浏览阅读793次。原文:https://blog.csdn.net/weixin_42491857/article/details/80741060写程序大体步骤为:1.用编辑器编写源代码,如.c文件。2.用编译器编译代码生成目标文件,如.o。3.用链接器连接目标代码生成可执行文件,如.exe。但如果源文件太多,一个一个编译时就会特别麻烦,于是人们想到,为什么不设计一种类似批处理的程序,来批处理..._cmake与qcmake的区别

随便推点

export CROSS_COMPILE=arm-linux-gnueabi- 之后,无法编译kernel-程序员宅基地

文章浏览阅读8.5k次。打算编译另一个kernel,一不小心export CROSS_COMPILE=arm-linux-gnueabi- 结果回到popmetal编译时候,提示arm-linux-gnueabi- gcc no such file 好吧,arm-linux-gnueabi- gcc -v 试试,提示安装 安装之后,再次执行make i.img -j4之后报错看来原来_export cross_compile=

uboot 代码执行顺序-程序员宅基地

文章浏览阅读154次。ref:http://blog.chinaunix.net/uid-30352139-id-5128405.htmluboot: 2014.071.1 U-boot相关文件boards.cfg:   ARCH = ARM   CPU = ARMv7   SOC = exynos   BOARD = smdkc210   VENDER ..._ldr r0, =_start mcr p15, 0, r0, c12, c0, 0 @set vbar

Cadence 16.6基本操作技巧(一)-程序员宅基地

文章浏览阅读2.5w次,点赞23次,收藏198次。都是工作上碰到的需要学习的知识,比较实用。1、修改Pin脚网络set up --user preference EditorLogic--net logicOption处选择网络,然后find处选择Pins,之后点击要修改网络的Pin即可将原来的网络修改为所选择的网络。2、在使用测量工具的时候,...

收藏 | 90+深度学习开源数据集整理:包括目标检测、工业缺陷、图像分割等多个方向(附下载)...-程序员宅基地

文章浏览阅读7.2k次,点赞2次,收藏14次。来源:极市平台本文多干货,建议收藏本文整理汇总了90+深度学习各方向的开源数据集,包含了小目标检测、目标检测、工业缺陷检测、人脸识别、姿态估计、图像分割、图像识别等方向。附下载链接。小目标检测1. AI-TOD航空图像数据集数据集下载地址:http://m6z.cn/5MjlYkAI-TOD 在 28,036 张航拍图像中包含 8 个类别的 700,621 个对象实例..._bmp图片测试集下载

LVS-NAT 负载均衡 轮询模式 从安装部署到访问网站_lvs-nat访问不到网页-程序员宅基地

文章浏览阅读378次。文章目录话不多说!实验环境实验目的来吧!!展示!!!配置NFS文件服务器配置节点服务器配置 LVM验证实验关于负载均衡的原理,我I在上一篇写的很详细~~(大概吧)~~ 了链接在这:博客地址点我话不多说!实验环境使用 VM虚拟机进行演示共使用 六 台虚拟机:1、负载均衡调度器,同时作为进出口网关 CentOS7.62、三台 节点服务器 CentOS7.63、一台 NFS 文件服务器 CentOS7.64、一台 客户端 使用 Win10实验目的客户端20端访问服务器群集,验证轮询_lvs-nat访问不到网页

kylin安装以及遇见到的一些问题和解决方法_kylin 安装到虚拟机失败重启出现控制台-程序员宅基地

文章浏览阅读7.7k次,点赞2次,收藏5次。环境:三台hadoop集群,hive,hbase,zookeeper三台机器内网互相通信,配置有一个外网ip,使用nginx端口映射kylin安装:安装部分参考文档:https://blog.csdn.net/seashouwang/article/details/77869773https://www.cnblogs.com/itboys/p/6322421.html1.从官..._kylin 安装到虚拟机失败重启出现控制台