分享

企业Linux服务器数据实时同步备份的解决方案

 ala咪s 2016-01-26

企业Linux服务器数据实时同步备份的解决方案

时间:2013-11-11 23:37来源:blog.51cto.com 作者: “Tuesday” 博客 举报 点击:1357次

摘要:数据是最宝贵的财产!公司的服务器都是需要对数据有着完整的备份策略,利用脚本、计划任务、开源软件等等,无论那种途径,能够对数据的实时同步,才是最理想的效果!下面详细介绍利用rsync配合inotify实现数据实时的触发同步。


rsync:可以镜像保存整个目录树和文件系统。可以很容易做到保持原来文件的权限、时间、软硬链接等等。第一次同步时 rsync 会复制全部内容,但在下一次只传输修改过的文件。


方案:起初用rsync进行数据备份是利用计划任务,定时执行一下命令实现rsync的同步,但最近开发这边修改比较频繁,看来需要实时同步备份来完善备份机制!所以需要利用inotify触发器来改善!达到一旦指定的位置有了新的变动就将其同步!


环境:

CentOS 6.4 64位

rsync-3.0.9

inotify-tools-3.14

134209883.jpg

说明:

10.10.1.6 (rsync+inotify)----------网站程序(/data0/htdocs/)

10.10.1.9 (rsync)------------------网站程序备份(/data0/htdocs/)


目的:

实现10.10.1.6的/data0/htdocs/目录下发生任何变动都将实时同步到10.10.1.9的/data0/htdocs/上

(另,这两台都跑有keepalived+nginx,来实现出现故障自动切换的容灾,详细配置会在后面补上)


一、web服务器10.10.1.6 (rsync+inotify)

1、准备软件包

# mkdir /data/ftpdata

# wget http://rsync./ftp/rsync/rsync-3.0.9.tar.gz

# wget http://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz


2、安装Rsync

1
2
3
4
tar-zxvf rsync-3.0.9.tar.gz
cdrsync-3.0.9
./configure--prefix=/usr/local/rsync
make;makeinstall


建立密码认证文件
[root@ftp ~]# echo "111111">/etc/rsyncd/rsyncd.secrets建立密码认证文件

*其中111111可以自己设置密码,rsyncd.secrets名字也可以自己设置;

权限:要将/etc/rsyncd/rsyncd.secrets设置为root拥有, 且权限为600。


# chmod 600 /etc/rsyncd/rsyncd.secrets



3、安装inotify

1
2
3
4
tar-zxvf inotify-tools-3.14.tar.gz
cdinotify-tools-3.14
./configure--prefix=/usr/local/inotify
make;makeinstall


4、创建rsync复制脚本

此项功能主要是将ftp端的目录/data0/htdocs/里的内容,如果修改了(无论是添加、修改、删除文件)能够通过inotify监控到,并通过rsync实时的同步给10.10.1.9的/data0/htdocs里,下面是通过shell脚本实现的。

[root@web ~]# vim /root/shell/rsync.sh

1
2
3
4
5
6
7
8
#!/bin/bash
host=10.10.1.9
src=/data0/htdocs/
/usr/local/inotify/bin/inotifywait-mrq--timefmt '%d/%m/%y %H:%M'--format'%T %w%f%e'–e modify,delete,create,attrib $src| whilereadfiles
do
/usr/bin/rsync-vzrtopg--delete --password-file=/etc/rsyncd/rsyncd.secrets $src root@$host::htdocs> /dev/null
echo"${files} was rsynced">>/var/log/rsync.log 2>&1
done


[root@web ~]# chmod u+x /root/shell/rsync.sh

[root@web ~]# setsid /root/shell/rsync.sh &

#后台运行脚本,关闭shell终端继续后台运行


rsync.sh脚本加入开机启动项

# echo "/root/shell/rsync.sh" >> /etc/rc.local


防火墙开启rsync端口:873

添加:

iptables -A INPUT -m state --state NEW -m tcp -p tcp --dport 873 -jACCEPT

重启:

# /etc/init.d/iptables restart


二、备份服务器10.10.1.9(rsync)

1、准备工作

创建备份目录:

# mkdir /data0/htdocs


2、安装rsync(备份主机只安装rsync)

1
2
3
4
tar-zxvf rsync-3.0.9.tar.gz
cdrsync-3.0.9
./configure--prefix=/usr/local/rsync
make;makeinstall


3、建立用户与密码认证文件

[root@backup ~]# echo "root:111111" > /etc/ rsyncd/rsyncd.secrets

[root@backup ~]# less /etc/rsyncd/rsyncd.secrets

root:111111

注意:

请记住,在10.10.1.6端建立的密码文件,只有密码,没有用户名;而在10.10.1.9里建立的密码文件,用户名与密码都有。

权限:要将/etc/rsyncd/rsyncd.secrets设置为root拥有, 且权限为600。

#chmod 600 /etc/rsyncd/rsyncd.secrets


4、建立rsync配置文件

[root@backup ~]# vim /etc/rsyncd/rsyncd.conf

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
pid file= /var/run/rsyncd.pid
port = 873
address = 10.10.1.9
#uid = nobody
#gid = nobody
uid = root
gid = root
use chroot = no
readonly= no
#limit access to private LANs
hosts allow=10.10.1.0/255.255.255.0
hosts deny=*
max connections = 5
motd file= /etc/rsyncd/rsyncd.motd
#This will give you a separate log file
log file= /var/log/rsync.log
#transfer logging = yes
log format= %t %a %m %f %b
syslog facility = local3
timeout = 300
[htdocs]
path = /data0/htdocs
list=yes
ignore errors
auth users= root
secrets file= /etc/rsyncd/rsyncd.secrets
#comment = rsync htdocs

启动rsync服务

# /usr/local/rsync/bin/rsync --daemon --config=/etc/rsyncd.conf

# ps -ef |grep rsync


Rsync服务加入开机启动项

# echo "/usr/local/rsync/bin/rsync --daemon --config=/etc/rsyncd.conf" >> /etc/rc.local


防火墙开启rsync端口:873

添加:

iptables -A INPUT -m state --state NEW -m tcp -p tcp --dport 873 -jACCEPT

重启:

# /etc/init.d/iptables restart


完成,其实这个时候数据已经同步了!


测试一下:

由于/data0/htdocs/下涉及到一些公司信息,所以就以/data0/htdocs/tmp/为例

144006325.jpg

144006518.jpg

主机名可以区别是两台机器,里面的内容完全一直,连文件的属性都一样


再对里面修改一下试试,创建一个文件,然后删除user目录试试


144714593.jpg

144714184.jpg


有人说使用mv移动目录有时会碰到数据同步位置错误,特意测试了一下,没有发生这种情况,以后碰到再补充!


本文出自 “Tuesday” 博客,请务必保留此出处http://cuimk.blog.51cto.com/6649029/1322241

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多