分享

MySQL数据库备份与恢复

 新进小设计 2022-06-29 发布于北京

前言

1.备份数据的意义

运维工作的核心简单概括起来就是两件事:第一个是保护公司的数据,第二个是让网站能够7*24小时提供服务。

虽然这两件事情都很重要,但是相比较而言,丢失一部分数据和让网站7*24小时提供服务,哪个更重要呢?

对于绝大多数企业来讲,失去数据就相当于失去商机,失去产品,失去客户,甚至会造成公司倒闭,那么,在所有的数据中,最核心的数据又是哪些呢?这恐怕要属数据库中的数据了。既然数据库中的数据地位这么高,那么数据库备份与恢复的重要性就不言而喻了。

2.使用mysqldump进行数据库备份

MySQL数据库自带了一个很优秀的备份命令,即mysqldump。

2.1.不带参数备份单个数据库

mysqldump oldboy >/opt/mysql_bak.sql

2.2.加-B参数备份

mysqldump -B oldboy >/opt/mysql_bak_B.sql  #B参数的作用是增加创建数据库和连接数据库的语句,可同时备份多个库。

2.3.使用gzip压缩备份数据库

mysqldump -B oldboy|gzip>/opt/mysql_bak_B.gz

2.4.mysqldump命令工作原理

利用mysqldump命令备份数据的过程,实际上就是把数据(包括库表)从MySQL库里以SQL语句的形式直接输出或者生成备份文件的过程,这种备份成SQL语句的方式称为逻辑备份。

使用mysqldump命令可以把数据库中的数据导出来,并通过SQL语句的形式存储。这种备份方式称为逻辑备份,效率不是很高。在当下的生产场景中,多用于数据量不是很大的备份情况,例如30GB以内的数据。若在数据库数据很大的时候采用此备份方法,则所用的时候就会很长,恢复的时间也会很长,因此,当数据大于30GB后,建议选择其他的诸如Xtrabackup的物理方式进行备份和恢复。

2.5.备份多个库

2.5.1.备份多个库

mysqldump -B oldboy oldboy_utf8 mysql|gzip>/opt/all.sql.gz

2.5.2.如何做分库备份

分库备份实际上就是每次只执行一个mysqldump备份命令语句备份一个库,如果数据库里有多个库,就执行多条相同的语句来备份各个库。

mysqldump -uroot -p'oldboy123' -B oldboy |gzip >/tmp/oldboy.sql.gz

mysql -e "show databases;" |egrep -v "_schema|atabase" |sed -r 's#^(.*)#mysqldump -B \1 |gzip >/tmp/\1.sql.gz#g' |bash  #bash执行这些备份命令,就是一次分开备份多个库了

2.6.备份单个表

当不加-B参数备份数据库时,例如“mysqldump oldboy test”,mysqldump命令默认就会把oldboy当作库,把test当作表,如果后面还有多个字符串,例如“mysqldump oldboy test test1“,那么除了oldboy为库之外,其他的test、test1都是oldboy库的表。

mysqldump oldboy test>/tmp/oldboy_test,sql

2.7.备份多个表

分表备份的缺点:数据文件多,很碎,一旦需要全部恢复又很麻烦。

1、做一个完整备份,再做一个分库分表备份。

2、虽然文件多、碎,但可以利用脚本批量操作多个SQL文件。

mysqldump mysql user db>/tmp/mysql.sql

egrep -v "#|\*|--|^$" /tmp/mysql.sql

mysqldump oldboy test > /tmp/oldboy_test.sql

2.8.备份数据库表结构(不包含数据)

利用mysqldump的-d参数可以只备份表的结构,即建表的语句。

mysqldump -d oldboy >/opt/oldboy.sql

2.9.只备份数据库表的数据(不包含表结构)

利用-t参数备份数据库表的数据(SQL语句形式)。

mysqldump -t oldboy >/opt/oldboy1.sql

2.10.同时将数据和表结构分离导出

利用-T参数可以实现将数据和表结构同时分离备份。

vi /etc/my.cnf
secure_file_priv=''  #在[mysqld]模块下增加
/etc/init.d/mysqld restart

mysqldump oldboy test --compact -T /tmp/

1、-d参数的作用是只备份库表结构(SQL语句形式)。

2、-t参数的作用是只备份表内的数据(SQL语句形式)。

3、-T将库表和数据分离成不同的文件,数据是纯文本,表结构是SQL语句。

2.11.刷新binlog文件参数(-F)

2.11.1.binlog是什么

binlog是一个二进制格式的文件,用于记录用户对数据库更新的SQL语句信息,例如更改数据库库表和更改表内容的SQL语句都会记录到binlog里,但是对库表等内容的查询则不会记录到日志中。

2.11.2.binlog对于备份的作用

当有数据写入到数据库时,还会同时把更新的SQL语句写入到对应的binlog文件里。

使用mysqldump备份时,一般是对某一时刻的数据进行全备,例如,0点进行数据库备份。

假设是每天0点对数据库进行备份,那么在两次备份之间就有24小时的数据没有备份,在这期间如果数据库发生故障,使用mysqldump全量恢复也只能恢复到当日0点,但是有了binlog文件,就可以将两次完整备份间隔之间的数据还原,因为binlog文件里的数据就是写入数据库的数据,使用binlog文件恢复数据,我们称之为二进制增量数据恢复。

2.11.3.为什么要刷新binlog

刷新(切割)binlog日志的目的就是确定全备和增量备(binlog文件)的临界点,当全备完成后,全备时刻以前的binlog文件就无用了(全备里已有这部分数据了),但是全备以后到下一次全备之前的数据就是十分重要的,这部分数据就存在于binlog文件里,因此在进行全备时需要找到全备之后和binlog增量之间的临界点,使得恢复时,需要的binlog文件数据一条不多(不能和全备的内容重合),一条不少(全备后的所有数据都要有)。

2.11.4.如何开启binlog功能

binlog文件生效需要一个参数:log_bin,编辑配置文件增加log_bin参数即可。

vi /etc/my.cnf
添加log_bin=mysql-bin到mysqld模块下

2.11.5.使用-F刷新binlog日志

使用-F将会从备份后的时刻起重新记录binlog日志文件,将来增量恢复从新的binlog日志文件开始即可。

例如,早晨10点丢失数据需要恢复数据。

1、将0点时刻备份的全备数据还原到数据库,这个时候数据就恢复到了当日0点。

2、0点到10点丢失的数据,就要从全备后当天的所有binlog里恢复,而使用-F切割日志,就是找到0点这个时刻全备和binlog接缝的起始binlog文件。

mysqldump -F -B oldboy|gzip >/opt/bak_$(date +%F).sql.gz

2.12.记录binlog位置的特殊参数(--master-data)

mysqldump里提供了一个参数,使得管理员不用刷新binlog,也可以在备份的文件对应的SQL语句里会添加change mastar语句及binlog文件及位置点信息。

当“--master-data=1”时,备份结果为可执行的“change master...”语句;当“--master-data=2”时,备份结果为注释的“--change master...” 语句,“--”在SQL语句里为注释的意思。“--master-data“ 参数除了确定增量恢复和全备之间的临界点之外,进行主从复制时的作用更大。

mysqldump --master-data=1 oldboy --compact|head -1
mysqldump --master-data=2 oldboy --compact|head -1

2.13.锁定所有表备份(-x参数)

使用mysqldump命令备份期间,数据库依然是可以写入数据的,此时,备份的数据就不是某一个时刻的一致性备份了,因此也会在恢复时造成困扰。例如备份时使用-x锁表备份就会取得0点时刻的完整备份,即在0点时刻停止所有写入操作,然后导出备份数据,备份完毕,放开写入。

如果不锁表进行备份,就会无法得到某一个时刻的完整备份,由于是一边备份数据一边写入数据,因此最后备份的数据很可能就是一个时间段的数据,而非某一个时刻的一致性全备。

2.14.innodb表特有的备份参数(--single-transaction)

当使用mysqldump的“--single-transaction”对innodb表进行备份时,会开启一个事务,并将整个备份过程放到一个事务里,以确保执行本次dump会话时,不会看到其他连接会话已经提交了的数据,即备份开始时刻的数据是什么样,备份出来就是什么样子。这也相当于是锁表之后备份的数据,但是这个参数是允许在备份期间写入数据的,而不是在使用“-x”参数锁表之后,备份期间无法写入任何数据。

3.mysqldump重要关键参数说明

mysqldump重要参数 参数说明
-B,--databases 会在备份的数据中增加建库(create)及“use库”的语句,可以直接接多个库名,同时备份多个库
-A,--all-databases 备份所有的数据库
-d,--no-data 只备份库表结构(SQL语句形式),没有行数据
-t,--no-create-info 只备份表内行数据(SQL语句形式),没有表结构
-T,--tab=name 将库表和数据分离成不同的文件,行数据是纯文本,表结构是SQL语句
-F,--flush-logs 刷新binlog日志,生产新binlog文件,将来增量恢复从这个新binlog文件开始,当备份多个库时,每个库都会刷新一次binlog,如果想只刷新一次binlog,可加“--lock-all-tables”或“--master-data”参数
--master-data={1|2} 在备份结果中增加binlog日志文件名及对应的binlog位置点(即change master...语句)。值为1时是不注释状态,值为2时是注释状态,该参数执行时会打开“--lock-all-tables”功能,除非有“--single-transaction”存在,使用该参数时会关闭“--lock-tables”功能
-x,--lock-all-tables 备份时对所有数据库的表执行全局读锁,期间同时禁止“--single-transaction”和“--lock-tables”参数功能
-l,--lock-tables 锁定所有的表为只读
--single-transaction 在备份innodb引擎数据表时,通常会启用该选项来获取一个一致性的数据快照备份,它的工作原理是设定本次备份会话的隔离级别为repeatable read,并将整个备份放在一个事务里,以确保执行本次dump会话时,不会看到其他连接会话已经提交了的数据,即备份开始时刻的数据是什么样,备份出来就是什么样子!也就相当于锁表备份数据,但是这个参数是允许在备份期间写入数据的,而不是-x锁表后的备份期间无法写入任何数据,启用该参数会关闭“--lock-tables”
-R,--routines 备份存储过程和函数数据
--triggers 备份触发器数据
--compact 只显示很少的有用输出,适合学习和测试环境调试用

4.不同引擎的mysqldump备份命令

4.1.innodb引擎的备份命令

“--single-transaction”是innodb引擎专有的备份参数,优势就是备份期间数据依然可以执行写操作。

mysqldump -A -B --master-data=2 --single-transaction |gzip >/opt/all.sql.gz

4.2.适合多引擎混合的备份命令

使用“--master-data”会自动开启-x锁表参数功能,在备份期间会影响数据写入。

mysqldump -A -B --master-data=2 |gzip >/opt/all_$(date +%F).sql.gz

5.利用SQL语句方式对表进行导入导出

5.1.导出表

5.1.1.导出表SQL语句语法

export options 说明
character set utf8 导出时设置字符为utf8,默认和库字符集一致
fields terminated by '-' 导出时设置不同的域分隔符为“-”,默认是tab
field enclosed by ""; 导出时设置对字段内容的引用符号,这里设置为“”,默认为空
lines starting by '=' 导出时每行行首设置等号,默认为空
lines termibated by'=' 导出时每行行尾的结束符设置为“=”,默认是回车符

5.1.2.导出表

use oldboy
select * from test;
select * from test into outfile "/tmp/oldboy_test1.txt";  #将test表里的数据导出为纯文本
system cat /tmp/oldboy_test.txt;
select * from test into outfile "/tmp/oldboy_test2.txt" character set utf8;  #导出时设置字符集
select * from test into outfile "/tmp/oldboy_test3.txt" fields terminated by '-';  #指定分隔符导出
select * from test into outfile "/tmp/oldboy_test4.txt" fields enclosed by "";  #导出时设置对字段内容进行引用

5.2.导入表

5.2.1.导入表命令语法

import options 说明
character set utf8 导入时设置字符集为utf8,默认和库字符集一致
fields terminated by '-' 不同域之间的分隔符导入,这里是“-”,默认是tab
fields enclosed by ""; 根据字段内容的引用符号导入,这里是引号,默认为空
lines starting by '=' 导入时在每行行首设置等号,默认为空
lines terminated by '=' 导入时将每行行尾的结束符设置为“=”,默认是回车符
ignore number lines 不导入文件的前N行

5.2.2.导入表

delete from test;
system cat /tmp/oldboy_test1.txt;
load data infile '/tmp/oldboy_test1.txt' into table test;  #默认方式将数据导入数据库
select * from test;
system cat /tmp/oldboy_test3.txt;
load data infile '/tmp/oldboy_test3.txt' into table test fields terminated by '-';  #指定分隔符方式导入数据库
select * from test;
system cat /tmp/oldboy_test4.txt
load data infile '/tmp/oldboy_test4.txt' into table test fields enclosed by "";  #双引号引用数据导入数据库

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多