分享

[原创] oracle联机热备份的原理,及rman增量备份原理

 执着男孩 2006-08-26


要求归档模式
SQL>; archive log list;
Database log mode              Archive Mode
Automatic archival             Enabled
Archive destination            USE_DB_RECOVERY_FILE_DEST
Oldest online log sequence     14
Next log sequence to archive   16
Current log sequence           16

-------------
先看用户管理的热备份

看看下面这个关键的操作,将备份的内容置于backup模式,用户管理的联机热备份必需的操作,不然copy备份的数据文件不能用来恢复,即使用某些放时恢复了也会丢数据
SQL>; alter tablespace users begin backup;
Tablespace altered.
SQL>; list
  1  select d.file_name filename,d.tablespace_name ts_name,b.status
  2  from dba_data_files d,v$backup b
  3* where d.file_id=b.file#
SQL>; /
FILENAME                   TS_NAME    STATUS
---------------------------------------- ---------- ------------------
/u02/oradata/sales/system01.dbf    SYSTEM     NOT ACTIVE
/u02/oradata/sales/undotbs01.dbf    UNDOTBS1   NOT ACTIVE
/u02/oradata/sales/sysaux01.dbf     SYSAUX     NOT ACTIVE
/u02/oradata/sales/users01.dbf       USERS      ACTIVE
/u02/oradata/sales/example01.dbf    EXAMPLE    NOT ACTIVE
/u02/oradata/sales/perfstat.dbf        PERFSTAT   NOT ACTIVE

USERS表空间现在处于backup模式,究竟这时候怎么了?
在我们alter tablespace users begin backup 的时候是锁定了users表空间对应的数据文件头的change scn。
首先考虑一下数据库怎么用日志文件做恢复:查找不一致的数据文件(根据文件头中旧的scn)
如果锁定了文件头,这个文件头中的scn就不会改变(当然了数据块还是会变化的,还可以做读写)。 然后就会应用这个scn到现在的日志。
那我锁定了scn,不管你后边怎么修改,总之做恢复的时候是应用锁定的时候的scn一直到现在的日志(完全恢复的话)

举个例子:
a,b两个数据文件,把a置于备份模式,b正常
这时候两个change scn都是100,然后开始备份
这期间有数据库的修改,备份完成的时候,Scn变成了200。但是由于a的备份模式,所以a的文件头中记录的scn还是100,b是200。
某个时间,假设scn 500
这时候a丢失
copy回a的备份,然后recover,完全恢复的话数据库就应用100—500这段的日志,自然也就不会丢失数据了。
因为不管在我copy备份的过程中你做什么操作,总之都在锁定的时change scn之后,所以应用的日志就不会有遗漏了。
这时候应该能理解为什么要数据库处于archived模式了


看看数据文件头的change scn
SQL>;select NAME,TABLESPACE_NAME,STATUS,CHECKPOINT_CHANGE# from v$datafile_header;
NAME               TABLESPACE STATUS       CHECKPOINT_CHANGE#
-------------------------------- ---------- -------------- ------------------
/u02/oradata/sales/system01.dbf  SYSTEM     ONLINE                     545926
/u02/oradata/sales/undotbs01.dbf UNDOTBS1   ONLINE                     545926
/u02/oradata/sales/sysaux01.dbf  SYSAUX     ONLINE                     545926
/u02/oradata/sales/users01.dbf   USERS      ONLINE                     545498
/u02/oradata/sales/example01.dbf EXAMPLE    ONLINE                     545926
/u02/oradata/sales/perfstat.dbf  PERFSTAT   ONLINE                     545926

6 rows selected.

显然,在将users表空间置于backup状态的时候,相应的datafile的文件头的scn就不会再发生改变,发生检查点也不会改变。

SQL>; alter system checkpoint;
System altered.

SQL>; select NAME,TABLESPACE_NAME,STATUS,CHECKPOINT_CHANGE# from v$datafile_header;
NAME                TABLESPACE STATUS       CHECKPOINT_CHANGE#
-------------------------------- ---------- -------------- ------------------
/u02/oradata/sales/system01.dbf  SYSTEM     ONLINE                     546196
/u02/oradata/sales/undotbs01.dbf UNDOTBS1   ONLINE                     546196
/u02/oradata/sales/sysaux01.dbf  SYSAUX     ONLINE                     546196
/u02/oradata/sales/users01.dbf   USERS      ONLINE                     545498
/u02/oradata/sales/example01.dbf EXAMPLE    ONLINE                     546196
/u02/oradata/sales/perfstat.dbf  PERFSTAT   ONLINE                     546196

6 rows selected.


下面end backup,看看scn

SQL>; alter tablespace users end backup;
Tablespace altered.

SQL>; alter system checkpoint;
System altered.

SQL>;select NAME,TABLESPACE_NAME,STATUS,CHECKPOINT_CHANGE# from v$datafile_header;

NAME               TABLESPACE STATUS         CHECKPOINT_CHANGE#
-------------------------------- ---------- -------------- ------------------
/u02/oradata/sales/system01.dbf  SYSTEM     ONLINE                     546467
/u02/oradata/sales/undotbs01.dbf UNDOTBS1   ONLINE                     546467
/u02/oradata/sales/sysaux01.dbf  SYSAUX     ONLINE                     546467
/u02/oradata/sales/users01.dbf   USERS      ONLINE                     546467
/u02/oradata/sales/example01.dbf EXAMPLE    ONLINE                     546467
/u02/oradata/sales/perfstat.dbf  PERFSTAT   ONLINE                     546467

6 rows selected.

------------------
再说说rman备份
个人认为理解了用户管理的热备份,rman就已经理解了一大半了
rman 备份是针对块一级的,支持增量备份,稍后说怎么做的增量备份

Rman备份并不需要将数据库或者表空间置于backup状态,但是它会把scn记录在catalog中对应你的backupset
准备在恢复的时候来使用

对users表空间做一个完全备份
$ rman target sys/oracle nocatalog
RMAN>; run {
2>; allocate channel d1 type disk;
3>; backup
4>; format=‘/u03/oraclebk/%d_%N_%s.bk‘ tablespace users;
5>; release channel d1;
6>; }


看一下备份集里都有什么,注意看Ckp SCN  546792,
RMAN>; list backup of tablespace users;

List of Backup Sets
===================
BS Key  Type LV Size       Device Type Elapsed Time Completion Time
------- ---- -- ---------- ----------- ------------ ---------------
3       Full    1M         DISK        00:00:02     31-MAR-05
        BP Key: 3   Status: AVAILABLE  Compressed: NO  Tag: TAG20050331T153729
        Piece Name: /u03/oraclebk/SALES_USERS_4.bk
  List of Datafiles in backup set 3
  File LV Type Ckp SCN    Ckp Time  Name
  ---- -- ---- ---------- --------- ----
  4       Full 546792     31-MAR-05 /u02/oradata/sales/users01.dbf

恢复的时候应用546792开始到现在的归档日志和重做日志.

---------------
rman的增量备份的基本原理
其实原理很简单,主要就是弄明白怎么样在做增量备份时确定某个数据块需要备份,哪个不需要
rman在做1级备份的时候怎么来确定0级备份之后都有哪些数据块做了修改呢?看下面一段
Each data block in a datafile contains a system change number (SCN), which is the
SCN at which the most recent change was made to the block. During an incremental
backup, RMAN reads the SCN of each data block in the input file and compares it to
the checkpoint SCN of the parent incremental backup. If the SCN in the input data
block is greater than or equal to the checkpoint SCN of the parent, then RMAN copies
the block.
原来block里边也有一个change scn
也就是说在做level 1级备份的时候,需要扫描所有的数据块并且用块中记录修改的SCN跟level 0备份时的SCN做比较(备份记录中的Ckp SCN),来确定这个块是否需要备份。
所以扫描整个数据文件是不可避免的 !

这是传统的rman做增量备份

在10g中rman做增量备份不再需要扫描整个数据文件了
10g引入的新特性 block change tracking:
Block change tracking进程记录自从上一次备份以来数据块的变化,并把这些信息记录在跟踪文件中。RMAN使用这个文件判断增量备份中需要备份的变更数据。这极大的促进了备份性能,RMAN可以不再扫描整个文件以查找变更数据。
RMAN‘s change tracking feature for incremental backups improves incremental
backup performance by recording changed blocks in each datafile in a change tracking
file. If change tracking is enabled, RMAN uses the change tracking file to identify
changed blocks for incremental backup, thus avoiding the need to scan every block in
the datafile.
估计是使用的位图文件做的记录!


附:
有兴趣的可以看看dump的数据块

通过下面的查询找一个表对应的数据块
SQL>; select file_id,block_id,blocks
  2  from dba_extents
  3  where segment_name=‘EMPLOYEES‘;

   FILE_ID   BLOCK_ID     BLOCKS
---------- ---------- ----------
         5         81          8

dump一个块到udump的trc文件
SQL>; alter system dump datafile 5 block 81;

System altered.


在udump目录找到对应的trc文件,找到dump那段
Start dump data blocks tsn: 6 file#: 5 minblk 81 maxblk 81
buffer tsn: 6 rdba: 0x01400051 (5/81)
scn: 0x0000.00086c4d seq: 0x01 flg: 0x04 tail: 0x4b502001
后面省略了


scn: 0x0000.00086c4d是16进制你可以换算过来552013

你可以尝试做一下修改,不过一定要保证对应的块被修改了,并且被写了,才能反映出来



 天涯明月刀 回复于:2005-08-27 20:07:22

:em06: 俺写的贴子好像真的很少人回啊

连意见都没有


 bulletming 回复于:2005-08-28 06:03:03

绝对好文,支持!


 remen 回复于:2005-08-28 08:31:47

楼主伤自尊了,呵呵,支持一个


 czpzc 回复于:2005-09-02 16:36:41

有点意思恍然大悟


 *Daemon* 回复于:2005-09-02 17:51:30

支持楼主!!


 janews2005 回复于:2005-09-03 11:23:17

支持一下!


 janews2005 回复于:2005-09-03 11:26:34

楼主你好!我是新手!可以教我一下双机热备份的具体的操作步骤吗!有文档吗?可以发到我信箱里!
zbh@mail.wise56.com
谢谢了!


 TigerEye 回复于:2005-09-03 13:53:17

缺少人气


 superscreen 回复于:2005-09-03 16:54:30

顶,不错,简单明了
btw: end backup 的时候是根据控制文件中对应的数据文件的结束scn来设置该数据文件头中的开始scn的,对吧?oracle 为什么一定要锁定这个scn呢,如果只是为了一个备份开始点的纪录,可以在内存中纪录阿,是不是为了防止其他的事件之间的冲突?


 天涯明月刀 回复于:2005-09-03 17:09:52

引用:原帖由 "superscreen" 发表:
oracle 为什么一定要锁定这个scn呢,如果只是为了一个备份开始点的纪录,可以在内存中纪录阿,是不是为了防止其他的事件之间的冲突?


为了保证备份的文件里也有备份开始点的记录阿
毕竟你是用的copy,它不会自动给你保存开始点的记录的


 流川 回复于:2005-09-04 16:12:27

楼主的贴,,,都是好贴

小弟不才,,,,,,才识学浅

帮顶一个


 wulang2005 回复于:2005-09-06 21:24:57

不好意思,我们用PostgreSQL做集群,还是支持一下.


 blue_stone 回复于:2005-09-06 22:06:15

引用:原帖由 "superscreen" 发表:
顶,不错,简单明了
btw: end backup 的时候是根据控制文件中对应的数据文件的结束scn来设置该数据文件头中的开始scn的,对吧?oracle 为什么一定要锁定这个scn呢,如果只是为了一个备份开始点的纪录,可以在内存?.........


如果这个时候系统挂了怎么办呢?
内存中的内容都丢失了,恢复的时候怎么恢复?


 麻雷 回复于:2005-09-10 22:04:05

很好,支持。


 星海夜航 回复于:2005-09-12 08:59:29

在tablespace被置为backup状态后,对这个tablespace中数据得修改呢?是继续改还是先放在临时tablespace中,等end backup后再做修改?


 天涯明月刀 回复于:2005-09-12 09:31:42

引用:原帖由 "星海夜航"]在tablespace被置为backup状态后,对这个tablespace中数据得修改呢?是继续改还是先放在临时tablespace中,等end backup后再做修改?
 发表:


跟平时一样修改
只不过不会修改数据文件头的change scn


 星海夜航 回复于:2005-09-12 12:10:54

谢谢楼主
转贴一些scn的文章,偶是新手,对scn不是很了解

关于scn的理解
系统检查点scn(v$database(checkpoint_change#))
数据文件检查点(v$datafile(checkpoint_change#))
数据文件终止scn(v$datafile(last_change#))

数据文件中存放的检查点
启动scn (v$datafile_header(checkpoint_change#)

1、系统检查点scn
当一个检查点动作完成之后,Oracle就把系统检查点的SCN存储到控制文件中。
select checkpoint_change# from v$database
2、数据文件检查点scn
当一个检查点动作完成后,Oracle就把每个数据文件的scn单独存放在控制文件中。 
select name,checkpoint_change# from v$datafile 
3、启动scn
Oracle把这个检查点的scn存储在每个数据文件的文件头中,这个值称为启动scn,
因为它用于在数据库实例启动时,检查是否需要执行数据库恢复。
select name,checkpoint_change# from v$datafile_header
4、终止scn
每个数据文件的终止scn都存储在控制文件中。
select name,last_change# from v$datafile
在正常的数据库操作过程中,所有正处于联机读写模式下的数据文件的终止scn都为null.
5、在数据库运行期间的scn值
在数据库打开并运行之后,控制文件中的系统检查点、控制文件中的数据文件检查点scn
和每个数据文件头中的启动scn都是相同的。控制文件中的每个数据文件的终止scn都为null.

在安全关闭数据库的过程中,系统会执行一个检查点动作,这时所有数据文件的终止scn
都会设置成数据文件头中的那个启动scn的值。在数据库重新启动的时候,
Oracle将文件头中的那个启动scn与数据库文件检查点scn进行比较,
如果这两个值相互匹配,oracle接下来还要比较数据文件头中的启动scn和控制文件
中数据文件的终止scn。如果这两个值也一致,就意味着所有数据块多已经提交,所有
对数据库的修改都没有在关闭数据库的过程中丢失,因此这次启动数据库的过程
也不需要任何恢复操作,此时数据库就可以打开了。当所有的数据库都打开之后,
存储在控制文件中的数据文件终止scn的值再次被更改为null,
这表示数据文件已经打开并能够正常使用了。
------------------------------------------
澄清几个概念
1)系统当前SCN并不是在任何的数据库操作发生时都会改变,SCN是在事务提交或回滚时改变,
2)在控制文件,数据文件头,数据块,日志文件头,日志文件change vector中都有SCN,但其作用各不相同数据文件头中包含了该数据文件的checkpoint SCN,表示给数据文件最近一次执行检查点操作时的SCN.日志文件头中包含了low scn,next scn,表示给日志文件包含有从low scn到next scn的redo record.控制文件中包含了每个数据文件的checkpoint SCN,stop SCN,每个日志文件的low scn,next scn.控制文件中checkpoint scn同数据文件头中checkpoint scn相同,除非数据文件被手工替换掉.控制文件中的low scn,next scn同日志文件中low scn和next scn相同在数据库正常运行时,控制文件中对应数据文件的stop SCN都是最大值.在正常关闭数据库的情况下,在关闭前会执行一次检查点工作当oracle会将数据缓冲区上的内容全部写回到磁盘中,然后更新控制文件中对应数据文件的stop SCN,使其等于checkpoint SCN

但在异常当机的情况下,由于最后一次检查点未进行或进行中间被中止,因而在控制文件,就存在部分的数据文件stop SCN为最大值,在数据库重新启动后,会检查控制文件中对应每个数据文件的stop SCN,如果stop SCN不等于控制文件中对应每个数据文件的checkpoint SCN,就会使用日志文件redo从checkpoint SCN开头到stop SCN为止的全部数据库操作.在定位到底是使用哪一个redo log文件时,就用到了日志文件头中的low scn,next scn,也就是说要使用的redo log 的low scn ,next scn必须包含数据文件重做所须的change vector.

在确定了哪个数据文件须redo后,oracle会比较change vector中的SCN和数据文件数据块中的SCN,如果change vector的SCN小于数据块的scn,则跳过此change vector,否则redo
数据块中ITL中还有SCN,但它的作用是用于产生一致性读快照

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多