|
本帖最后由 vage 于 2012-3-31 10:07 编辑 ASM的文件管理深入解析（内含开源的ASM文件挖掘研究版程序）: （帖子太长，分三楼发出来，ASM文件挖掘程序的下载，在第二楼） 09年刚到阿里时，研究过一阵子ASM，当时还写了一个ASM文件直接读取的程序，就是本文后面所附的。算起来，这应该是国内首款这方面的程序了。但当时只发在公司内部的邮件组，一直没有时间整理出来。现在终于清闲些了，而且ASM也使用的越来越多，而且以后绝对是Oracle重点发展方向之一，所以决定将此程序整理出来，再配合些详细的介绍，希望可以提升大家对ASM的了解程度。 也是09年初，曾经和朋友一起写过一个Oracle日志解析的程序，取名为日志挖掘研究版（ http://www./thread-1160446-1-1.html，算下来，都已经三年了，时间过的好快啊）。这个ASM直接读取程序，我也决定命令为“ASM文件挖掘研究版”，它还并不完善，只是给有需要的人提供一个思路。如果你不懂编号也没关系，本文的重点，除这个程序外，更多的是介绍ASM文件管理的原理。 “ASM文件挖掘研究版”远没有原来的“日志挖掘研究版复杂，也只花了很短时间，去掉一些调试性的注释只有不到300行代码。 好了，闲言少叙，准备好了吗，开始我们的ASM探秘之旅吧。 第一章 ASM文件 ASM中的文件总体上来说，分为两大类，元文件和数据文件。数据文件包含Oracle的数据文件、控制文件、重做日志文件、归档日志文件等等。对于ASM来说，只要是非元文件，就是数据文件。每一个文件，在ASM中都有一个专门的索引号，也就是编号，ASM文件索引号从1开始。其中，前255个，也就是1至255号文件，都是元文件。256之后的是其他各种文件。 元文件中包含了各种ASM的配置、各类数据文件信息还有目录、别名等等信息，都是在元文件中的。所有V$ASM_开头视图的信息，都来自元文件中。 其中，1号文件包含所有文件的磁盘占用信息，包括元文件、甚至1号文件自身的空间分布信息，也都是在1号文件内部。每个文件在它里面占用一个块（4096字节，元数据块大小为4K）的空间。 从256号文件开始，是数据库的各类文件。假设你放在ASM上的第一个文件是一个控制文件A，第二个文件是一个数据文件B。哪么控制文件A在ASM中的索引号是256，数据文件B的索引号是257。 1号文件总是开始在0号磁盘2号AU，记住这个位置：0号盘2号AU。这是ASM中定位文件的起点，它的作用，有点相当于磁盘上的引导区，在电脑开机后负责将OS启动起来。 1号文件在最少情况下，至少有两个AU。上面我们提到过了，在1号文件中，每个文件占用一个元数据块，存放自身的空间分布信息。每个元数据块大小是4K，一个AU是1M，哪么，每个AU中，可以存储256个文件的空间分布信息。这其中，0号盘2号AU中，全是元文件的信息。再具体一点，0号盘2号AU，第一个元数据块被系统占用，从第二个块开始，到255为止，共255个元数据块，对应索引号1至255的文件。其实，也就是全部的元文件了。也就是说0号盘2号AU，保存了全部元文件的空间分布信息。 1号文件的第二个AU，从第一个块开始，保存256号文件。第二个块对应257号文件，等等。 每次从ASM中读数据时，Oracle都要先读到1号文件，从中找出要读的目标文件在磁盘上的分布位置，然后再去读取相应的文件的数据。 不用太多文字了，文字不是最直接的表达方式，还是换成图形吧。 
图1 这张图假设某一DiskGroup中有0到N个磁盘。再看下图： 
图2 我们把0号盘，2号AU单独拿出来，放大显示。0号盘2号AU，是1号文件第一个AU，共有256个元数据块，编号0至255，0号块留用。1至255号块分别保存了1号文件自身和2、3等等直到255号文件的AU分布信息。 哪下面，如果我想知道某一个文件的AU分布，如何查看呢？ 第 二 章 kfed 1、链接kfed 查看ASM磁盘的信息，可以使用KFED，在非Windows操作系统下，kfed已经编译过了，只要链接一下，就可以使用了，步骤如下： （1）、找到ins_rdbms.mk所在路径，并进入。此步骤不再列出。 （2）、执行如下命令，即可链接kfed。 make -f ins_rdbms.mk ikfed 2、在ASM中确定磁盘 ： SQL> select group_number,name from v$asm_diskgroup; GROUP_NUMBER NAME ------------ ------------------------------ 1 DG1 我目前只有一个DG，名字是DG1，GROUP_NUMBER为1。 SQL> select group_number,disk_number,path from v$asm_disk; GROUP_NUMBER DISK_NUMBER PATH ------------ ----------- -------------------- 1 0 ORCL:VOL1 1 1 ORCL:VOL2 目前，我DG中，有两个磁盘。但这两个磁盘分别是谁，从ASM的视图中，还看不出来。不过，可以分析一下得出，/dev/sda这个盘，是系统留用的，sdb、sdc很有可能是ASM的VOL1、VOL2。那么，如何确认一下呢？这里，我也没有什么好方法，我们这样： [root@red1 dev]# dd if=/dev/sdb bs=1 count=45|hexdump -c|more 45+0 records in 45+0 records out 0000000 001 202 001 001 \0 \0 \0 \0 \0 \0 \0 200 , , m 0000010 \0 \0 \0 \0 \0 \0 \0 \0 \0 \0 \0 \0 \0 \0 \0 \0 0000020 O R C L D I S K V O L 1 \0 000002d 我dd命令，将/dev/sdb的前45个字节输出，其中，我们可以看到O R C L D I S K V O L 1。那么，/dev/sdb就对应VOL1了。 使用同样的方法，可以确定sdc是VOL2。还可以确定，磁盘没有分区： [root@red1 dev]# dd if=/dev/sdb1 bs=1 count=45|hexdump -c dd: opening `/dev/sdb1': No such file or directory 不存在/dev/sdb1这样的设备。 这种确定方法确实麻烦了一些，大家如果知道有什么简单方法可以补充。 好，我们已经确定，/dev/sdb对应VOL1，是磁盘0，/dev/sdc对应VOL2，是磁盘1。在我们使用kfed时，还用不到这个，如果用程序直接读取ASM文件的话，就需要用到这个信息了。 3、使用Kfed 我们使用Kfed直接读取0号磁盘，2号AU，1号元数据块吧。 0号元数据块是1号文件自身留作文件头的。1号元数据块呢，是1号文件的AU分布，2号元数据块，是2号文件的AU分布。等等。下面，我们用Kfed读取下1号元数据块。 [oracle@red1 disks]$ kfed read /dev/oracleasm/disks/VOL1 aun=2 blkn=1|more kfbh.endian: 1 ; 0x000: 0x01 kfbh.hard: 130 ; 0x001: 0x82 kfbh.type: 4 ; 0x002: KFBTYP_FILEDIR kfbh.datfmt: 1 ; 0x003: 0x01 kfbh.block.blk: 1 ; 0x004: T=0 NUMB=0x1 kfbh.block.obj: 1 ; 0x008: TYPE=0x0 NUMB=0x1 kfbh.check: 4143342569 ; 0x00c: 0xf6f663e9 kfbh.fcn.base: 268 ; 0x010: 0x0000010c kfbh.fcn.wrap: 0 ; 0x014: 0x00000000 ………………………………………………………………………… 等等 Kfed可以帮我们列出很多信息，有了这些，ASM的大部分秘密将被揭开。kfed的信息是这样看的，比如： kfbh.endian: 1 ; 0x000: 0x01 kfbh.endian是C语言的结构（struct）中的域。 1 ; 0x000: 0x01 ：kfbh.endian的十进值为1，0x000是指它开始自第0个字节处，最后的0x01是十六进制值形式。 此域的意义是主机的大小端。0是大端，1是小端。此处值为1，说明主机是小端。 其他的这里就不再一一列出了，对其中的每个域，我后面有详细的说明。下面，只说相关的，在Kfed中找到如下信息： kfffde[0].xptr.au: 2 ; 0x4a0: 0x00000002 kfffde[0].xptr.disk: 0 ; 0x4a4: 0x0000 kfffde[0].xptr.flags: 0 ; 0x4a6: L=0 E=0 D=0 C=0 S=0 kfffde[0].xptr.chk: 40 ; 0x4a7: 0x28 kfffde[1].xptr.au: 27 ; 0x4a8: 0x0000001b kfffde[1].xptr.disk: 0 ; 0x4ac: 0x0000 kfffde[1].xptr.flags: 0 ; 0x4ae: L=0 E=0 D=0 C=0 S=0 kfffde[1].xptr.chk: 49 ; 0x4af: 0x31 kfffde[2].xptr.au: 4294967295 ; 0x4b0: 0xffffffff kfffde[2].xptr.disk: 65535 ; 0x4b4: 0xffff kfffde[2].xptr.flags: 0 ; 0x4b6: L=0 E=0 D=0 C=0 S=0 kfffde[2].xptr.chk: 42 ; 0x4b7: 0x2a kfffde[3].xptr.au: 4294967295 ; 0x4b8: 0xffffffff kfffde[3].xptr.disk: 65535 ; 0x4bc: 0xffff kfffde[3].xptr.flags: 0 ; 0x4be: L=0 E=0 D=0 C=0 S=0 kfffde[3].xptr.chk: 42 ; 0x4bf: 0x2a ……………… 如果你对C语言熟一点，我们会更容易描述这段信息，如果不太熟又想深入了解，可以回去翻翻谭浩强C语言书中结构体哪一部分，很简单的。kfffde，是结构数组。kfffde[0]的数据元素，存放了1号文件第一个AU的位置。kfffde[1]存放了1号文件第二个AU位置，等等，依次类推。我们来看一下上面的信息： kfffde[0].xptr.au: 2 ; 0x4a0: 0x00000002 ：2号AU kfffde[0].xptr.disk: 0 ; 0x4a4: 0x0000 ：0号磁盘 ：上两个信息合起来，0号盘2号AU，这就是1号文件第一个AU的位置 kfffde[0].xptr.flags: 0 ; 0x4a6: L=0 E=0 D=0 C=0 S=0 ：标志位 kfffde[0].xptr.chk: 40 ; 0x4a7: 0x28 : 校验码 通过上面kfffde[0]中的信息，我们可以知道，1号文件的第一个AU，位置在0号盘2号AU处。再看kfffde[1]，它对应1号文件第二个AU，位置在0号盘27号AU。再往下看kfffde[3]，AU编号4294967295，磁盘编号65535。这说明1号文件还没有第三个AU。 通过上面的信息，我们可以得到，1号文件共有两个AU，分别在0号盘2号AU、0号盘27号AU。 再来一张图，帮助理解：
图3 4、读取其他文件：读取元文件 再来一个例子，假设我们想要访问3号文件，如何找出3号文件的AU都在哪里分布呢？ 根据我们刚才所讲的，3号文件的AU分布，在（0号盘，2号AU，3号块）中，使用Kfed读取它： [oracle@red1 disks]$ kfed read /dev/oracleasm/disks/VOL1 aun=2 blkn=3|more ………………………… kfffde[0].xptr.au: 3 ; 0x4a0: 0x00000003 kfffde[0].xptr.disk: 1 ; 0x4a4: 0x0001 kfffde[0].xptr.flags: 0 ; 0x4a6: L=0 E=0 D=0 C=0 S=0 kfffde[0].xptr.chk: 40 ; 0x4a7: 0x28 kfffde[1].xptr.au: 3 ; 0x4a8: 0x00000003 kfffde[1].xptr.disk: 0 ; 0x4ac: 0x0000 kfffde[1].xptr.flags: 0 ; 0x4ae: L=0 E=0 D=0 C=0 S=0 kfffde[1].xptr.chk: 41 ; 0x4af: 0x29 kfffde[2].xptr.au: 4 ; 0x4b0: 0x00000004 kfffde[2].xptr.disk: 1 ; 0x4b4: 0x0001 kfffde[2].xptr.flags: 0 ; 0x4b6: L=0 E=0 D=0 C=0 S=0 kfffde[2].xptr.chk: 47 ; 0x4b7: 0x2f kfffde[3].xptr.au: 4 ; 0x4b8: 0x00000004 kfffde[3].xptr.disk: 0 ; 0x4bc: 0x0000 kfffde[3].xptr.flags: 0 ; 0x4be: L=0 E=0 D=0 C=0 S=0 kfffde[3].xptr.chk: 46 ; 0x4bf: 0x2e ……………………………………………… 根据我们前面我讲的，解读这些信息是很容易的。3号文件的AU有：（1号盘3号AU）、（0号盘3号AU）、（1号盘4号AU）、（0号盘4号AU）、…………。 还是来看张图吧，更加清楚些：
图4 5、读取数据文件 我先在ASM中新建一个数据文件，然后，我们再来查看它的AU分布。 创建如下表空间： create tablespace tbs_tst01 datafile '+DG1/data/tbs_tst01_00.dbf' size 10M autoextend off; 我们创建了一个10M大的数据文件，也就是说，它会有10个AU。如下查询一下它在ASM中的文件索引号： （在ASM实例中执行如下语句：） SQL> select name,file_number from v$asm_alias where name like 'tbs_tst01%'; NAME FILE_NUMBER ------------------------------------------------ ----------- tbs_tst01_00.dbf 257 FILE_NUMBER列也是文件号，我们一般称它为ASM文件索引号，在这里 tbs_tst01_00.dbf的索引号是 257。 1号文件的第一个AU（0号盘2号AU）中，只能保存1至255号文件的。从256号文件开始，AU的分布信息保存在1号文件第二个AU中，也就是（0号盘，27号AU）。其中第一个块（0号块），对应256号文件。1号块对应257号文件，等等，依此类推。 照惯例，我们先用Kfed读取一下0号盘27号AU的1号块，查看一下257号文件的AU分布： [oracle@red1 disks]$ kfed read /dev/oracleasm/disks/VOL1 aun=27 blkn=1|more ………………………………………… kfffde[0].xptr.au: 278 ; 0x4a0: 0x00000116 kfffde[0].xptr.disk: 0 ; 0x4a4: 0x0000 kfffde[0].xptr.flags: 0 ; 0x4a6: L=0 E=0 D=0 C=0 S=0 kfffde[0].xptr.chk: 61 ; 0x4a7: 0x3d kfffde[1].xptr.au: 277 ; 0x4a8: 0x00000115 kfffde[1].xptr.disk: 1 ; 0x4ac: 0x0001 kfffde[1].xptr.flags: 0 ; 0x4ae: L=0 E=0 D=0 C=0 S=0 kfffde[1].xptr.chk: 63 ; 0x4af: 0x3f kfffde[2].xptr.au: 279 ; 0x4b0: 0x00000117 kfffde[2].xptr.disk: 0 ; 0x4b4: 0x0000 kfffde[2].xptr.flags: 0 ; 0x4b6: L=0 E=0 D=0 C=0 S=0 kfffde[2].xptr.chk: 60 ; 0x4b7: 0x3c ………………………………………… ………………………………………… ………………………………………… kfffde[10].xptr.au: 283 ; 0x4f0: 0x0000011b kfffde[10].xptr.disk: 0 ; 0x4f4: 0x0000 kfffde[10].xptr.flags: 0 ; 0x4f6: L=0 E=0 D=0 C=0 S=0 kfffde[10].xptr.chk: 48 ; 0x4f7: 0x30 kfffde[11].xptr.au: 4294967295 ; 0x4f8: 0xffffffff kfffde[11].xptr.disk: 65535 ; 0x4fc: 0xffff kfffde[11].xptr.flags: 0 ; 0x4fe: L=0 E=0 D=0 C=0 S=0 kfffde[11].xptr.chk: 42 ; 0x4ff: 0x2a 257号文件一共10个AU，所以，kfffde[11]中的AU位置和磁盘位置是0xffffffff、0xffff。但kfffde[10]还有是明确的值的。257号文件的10号AU位置：0号磁盘283号AU，这其实是257的第11个AU。 tbs_tst01表空间使用的是“系统管理区大小”，也就是说区大小有64K、1M、8M等多种选择。但是无论区大小，每个ASM中的文件，比原大小总会多出一个AU。就像这里的257号文件，原大小是10M，但实际是11M，共11个AU。 再来一张图吧，有图清楚些：
图5
图6 上面图5和图6，具体描述了在ASM中读取257号文件的步骤。在这里，257号文件创建大小是10M，实际在ASM中大小为11M，共11个AU。这11个AU的信息，都在0号盘、27号AU、1号块中。假设有一个非常大的文件，AU数也非常多，一个块中存不完，Oracle是如何处理的呢？下面，我们继续。 6、读取特别大的文件：间接AU 创建一个稍大一点的数据文件，比如200M： create tablespace tbs_tst02 datafile '+DG1/data/tbs_tst02_00.dbf' size 200M autoextend off; 根据我们前面所讲的，200M的数据文件，在ASM中实际将占用201M空间（201个AU）。下面，我们查找一下此文件的AU分布。首先在ASM中执行如下命令： SQL> select name,file_number from v$asm_alias where name like 'tbs_tst02%'; NAME FILE_NUMBER ------------------------------------------------ ----------- tbs_tst02_00.dbf 258 确定一下，tbs_tst02_00.dbf的文件号是258。它的AU分布信息，应该在1号文件的第二个AU的第3个块（2号块）中，老规距，先用Kfed读取1号文件第二个AU第3个块，也就是0号盘、27号AU、2号块： [oracle@red1 disks]$ kfed read /dev/oracleasm/disks/VOL1 aun=27 blkn=2|more ……………………………………………………………… kfffde[0].xptr.au: 282 ; 0x4a0: 0x0000011a kfffde[0].xptr.disk: 1 ; 0x4a4: 0x0001 kfffde[0].xptr.flags: 0 ; 0x4a6: L=0 E=0 D=0 C=0 S=0 kfffde[0].xptr.chk: 48 ; 0x4a7: 0x30 kfffde[1].xptr.au: 284 ; 0x4a8: 0x0000011c kfffde[1].xptr.disk: 0 ; 0x4ac: 0x0000 kfffde[1].xptr.flags: 0 ; 0x4ae: L=0 E=0 D=0 C=0 S=0 kfffde[1].xptr.chk: 55 ; 0x4af: 0x37 ……………………………………………………………… 这些信息我们都熟悉了，是说明258号文件的AU分布，第一个AU在1号盘、282号AU处。第二个AU是0号盘、284号AU。等等。一直向下翻页，你会发现在kfffde[61]处，AU信息和Disk信息就已经没有了。kfffde[60]是最后一个有效AU，位置是0号盘、314号AU处： ……………………………………………………………… kfffde[60].xptr.au: 314 ; 0x680: 0x0000013a kfffde[60].xptr.disk: 0 ; 0x684: 0x0000 kfffde[60].xptr.flags: 0 ; 0x686: L=0 E=0 D=0 C=0 S=0 kfffde[60].xptr.chk: 17 ; 0x687: 0x11 kfffde[61].xptr.au: 4294967295 ; 0x688: 0xffffffff kfffde[61].xptr.disk: 65535 ; 0x68c: 0xffff kfffde[61].xptr.flags: 0 ; 0x68e: L=0 E=0 D=0 C=0 S=0 kfffde[61].xptr.chk: 42 ; 0x68f: 0x2a ……………………………………………………………… 其实，kfffde[60]已经不是258号文件实际存放数据的AU了，直到kfffde[59]还是。也就是说kfffde[0]到kfffde[59]，第258号文件的前60个AU的位置信息（也就是前60M了），保存在此处。258号文件共201个AU呢，后面141个AU的位置信息在哪儿呢？就在kfffde[60]对应的，0号盘、314号AU中。 再来读取一下它：0号盘、314号AU。 [oracle@red1 disks]$ kfed read /dev/oracleasm/disks/VOL1 aun=314 blkn=0|more ……………………………………………………………… kfbh.block.obj: 258 ; 0x008: TYPE=0x0 NUMB=0x102 ……………………………………………………………… kffixe[0].xptr.au: 312 ; 0x00c: 0x00000138 kffixe[0].xptr.disk: 1 ; 0x010: 0x0001 kffixe[0].xptr.flags: 0 ; 0x012: L=0 E=0 D=0 C=0 S=0 kffixe[0].xptr.chk: 18 ; 0x013: 0x12 kffixe[1].xptr.au: 315 ; 0x014: 0x0000013b kffixe[1].xptr.disk: 0 ; 0x018: 0x0000 kffixe[1].xptr.flags: 0 ; 0x01a: L=0 E=0 D=0 C=0 S=0 kffixe[1].xptr.chk: 16 ; 0x01b: 0x10 kffixe[2].xptr.au: 313 ; 0x01c: 0x00000139 kffixe[2].xptr.disk: 1 ; 0x020: 0x0001 kffixe[2].xptr.flags: 0 ; 0x022: L=0 E=0 D=0 C=0 S=0 kffixe[2].xptr.chk: 19 ; 0x023: 0x13 ……………………………………………………………… 我多显示了一个域的信息：kfbh.block.obj，它代表此数据块属于哪个文件，此处的值为258，代表此数据块、此AU属于258号文件。 kffixe[0]是258号文件的第61个AU，它的位置是1号盘312号AU。注意，它就是一个间接AU。后面的kffixe[1]、kffixe[2]，……，等等也都是间接AU了。 好，258号文件AU分布的查找过程，我用三幅图总结：
图7
图8
图9 ASM文件管理模式到这里就差不多了。我们使用Kfed，直接读取磁盘，描述了查找、定位文件AU分布的方式。如果只是想看看某个文件的AU分布，当然不用每次都使用Kfed，我们可以在ASM实例中，查询X$KFFXP视图。 |
|
|
