Informix 数据库优化...

Informix 数据库优化

作者：www.kecourser.com  出处：www.kecourser.com  更新时间： 2007年04月03日

Informix IDS 数据库广泛的应用在金融、电信和邮政等各个行业中，它是一个多线程的关系数据库服务器，采用对称的多处理器技术和单处理器体系结构，并具有先进的技术、性能与高可靠性和高可用性。它为用户提供了动态系统管理工具来监控和管理数据库服务器。随着数据库数量的增加和应用处理交易量的增多，它的运行效率显得尤为突出。在硬件环境不变的情况下，数据库性能的提高也一直成为大家关注的话题。  　　数据库系统性能通常与 CPU、共享内存、数据的存储和网络设置等四个方面有直接的关系。下面着重介绍通过配置 Informix IDS 参数和监控 Informix IDS 运行效率，来提高数据库的性能。  虚拟处理器参数的调整和监控  　　Informix IDS 对于虚拟处理器的分类，达到了十多种，每个虚拟处理器像操作系统的一个 CPU 允许多个进程服务于多个用户一样，也可以运行多个线程来为多个 SQL 客户机应用程序提供服务。其中最重要的虚拟处理器是 CPU、AIO、网络处理器三种，在这三种服务器中，CPU 虚拟处理器（CPU VP）是最重要的，它驱动其他虚拟处理器，如磁盘 I/O 虚拟处理器（AIO VP）和 IDS 会话中的所有线程。AIO VP 的功能是在 SQL 语句访问或更新数据库数据时，执行磁盘 I/O。网络处理器涉及到数据库服务器的客户机或用户连接。可以进行两种类型的连接：共享内存连接和网络连接。下面分别介绍这三种类型的参数。  　　1．CPU 虚拟处理器（CPU VP）的参数  　　NUMCPUVPS：定义了 Informix IDS 开始启动的 CPU VP 的数量。一般情况下不能超过系统 CPU 的个数，对于单或双 CPU 的计算机系统，建议设置 NUMCPUVPS 是 1 或者 2，即使用一个或两个 CPU VP；对于有 4 个以上 CPU，建议设置 NUMCPUVPS 的值等于处理器总数减1。  　　SINGLE_CPU_VP：定义了多 CPU VP（0）和单 CPU VP（1）设置。  　　MULTIPROCESSOR：定义了多个 CPU VP（1）还是单个 CPU VP（0）。  　　AFF_NPROCS：定义了可以绑定到 CPU VP 的 CPU 的数目。  　　AFF_SPROC：定义了把连续的几个 CPU（AFF_NRPOCS 参数定义的值）中第一个 CPU 的序号连接到 CPU VP 上。  　　例如，某个 Informix IDS 系统所在的硬件平台有 4 个 CPU，AFF_NPROCS 设置为 3（即可用于绑定CPUVP的CPU 有 3 个），NUMCPUVPS 设置为 3， AFF_SPROC 设置为 1，则 3 个 CPUVP 需要绑定到 CPU 上，是从第 2 个 CPU 开始，绑定到第二、三、四个 CPU 上。SINGLE_CPU_VP 设置为 0。  　　2．对于磁盘 I/O 虚拟处理器（AIO VP）的配置  　　NUMAIOVP 指定系统上 AIO/KAIO 虚拟处理器的数目，如果 Informix IDS 采用裸设备存储，可以设置成2。  　　在 Informix IDS9.2 以后的版本中将 NUMCPUVPS、NOAGE、AFF_NPROCS、AFF_SPROC、NUMAIOVP 用VPCLASS 参数代替。当 Informix IDS 处于 online 的状态下，可以使用 onmode -p (+/-)# 来增加或者减少虚拟处理器。#代表增加或者减少虚拟处理器的个数。  　　3．对于网络处理器参数的配置  　　NETTYPE：定义了Informix IDS 的连接类型和连接可以连接的轮询线索数目。如果 sqlhosts 文件中支持一个以上的接口或协议的连接，就必须对每个连接类型规定独立的 NETTYPE 参数。  　　轮询线索可以在两类VP上运行：NET VP和 CPUVP。为得到最佳性能，Informix 建议使用 NETTYPE 表项为CPU VP类只分配一个轮询线索，将其余轮询线索轮询线索分配给 NET VP。分配给任何一种连接类型的轮询线索不得超过 NUMCPUVPS 的取值。  　　NETTYPE 的配置格式如下：NETTYPE connection_type，poll_threads，c_per_t，vp_class 。其中，connection_type 标识轮询线索分配的连接协议；poll_threads 是分配给该连接类型的轮询线索数目，对任何连接类型，这个值不能超过 NUMCPUVPS 值；c_per_t 是每个轮询线索的连接数目，可以用如下公式计算这个值：c_per_t=connections/poll_threads；connections 是所希望指定的连接类型支持的最大连接数。对于共享内存连接（ipcshm），该值应该加倍以获得最好的性能；vp_class 是可运行轮询线索的 VP 类，如果 CPU VP 上只运行一个轮询线索，那么指定为C PU VP。  　　在对虚拟处理器的监控中，可以通过系统的一些命令，也可以通过数据库的一些命令，常用的数据库命令是 onstat-grea 和 onstat -g ioq。  　　以下是 onstat -g rea 的输出：  　　/usr/informix >onstat -g rea  　　Informix Dynamic Server Version 9.30.FC5 -- On-Line -- Up 36 days 00:22:32 -  　　- 5352416 Kbytes  　　Ready threads:  　　tid tcb rstcb prty status vp-class name  　　onstat -g rea 监控了就绪队列中的线程数目。包括准备运行而且在等待资源的线程。理想的状态下是输出极少的条目或者不显示任何条目。如果输出的某种 VP 类条目持续增长，那么就要考虑在该类中添加 VP。  　　在 onstat-g iog 指令的输出中，最需要关注的列是 len 列。len 列的值应该总是为 0 或接近于 0。如果该列的值很高并持续增长，那么我们可能需要添加另一个 AIO/KAIO 虚拟处理器来减少磁盘 I/O 负载。  　　监控虚拟处理器的方法比较多，可以使用 Informix IDS 查询语句在系统表中找到虚拟处理器的使用情况:还可以在 Unix 操作系统中使用系统命令 sar、top 等来监控操作系统的 CPU 使用情况；还可以在一段时间内的重复执行 Informix IDS 命令 onstat-g glo 来监控各个虚拟处理器已占用的 CPU 资源。判断 CPU 的忙闲。  　　内存使用效率的参数调整和监控  　　Informix IDS 使用的内存部分被数据库服务器线程以及其他用户和虚拟进程共享，所以这部分的内存叫做共享内存，共享内存减少磁盘 I/O, 提供了最快地进行进程间通信的方法，还可以使数据库服务器减少总的内存使用。  　　Informix IDS 共享内存分为四个部分：驻留部分、虚处理部分、消息部分和虚拟扩展区部分，其中消息部分只有在客户机和服务器采用共享内存方式连接时才有，而且尺寸很小。虚拟扩展区也极小，它包含了用于 DataBlade 模块的线程 heaps 和其他在用户定义的虚拟处理器中运行的用户定义例程。  　　1．驻留内存部分的参数  　　驻留内存部分又可以细分为：共享内存头、缓冲区，逻辑日志缓冲区、物理日志缓冲区、锁。  　　共享内存头在共享内存中包含所有其他结构的描述，还包含到这些结构位置的指针共享内存头是在初始化 Informix IDS 时创建的，并且不能进行调优。  　　缓冲区存储 Informix IDS 从 dbspace 所读取的数据，是数据库对象数据，如表的数据或索引数据。缓冲区占用了驻留内存中最大的部分。所有的缓冲区被组织到一个较长的最近最少使用（least- recently-used，LRU）缓冲区队列中，并通过最近最少使用（LRU）机制进行管理。定义缓冲区的参数是 BUFFERS。称作指定共享内存缓冲区的最大数目，该参数对数据库 I/O 和事务处理吞吐量有明显的影响。但是，如果分配过多的缓冲区会影响到操作系统的内存并导致过多的交换内存页面的活动。一般建议设置为物理内存的 20% 到20%。  　　逻辑日志缓冲区是用来存储最后一次备份开始的逻辑日志记录的。逻辑日志记录保存了 SQL 语句对数据库数据进行的修改。在初始化 Informix IDS 时，它创建三个逻辑日志缓冲区，以循环方式运作，来确保将获得的每一条逻辑日志记录都被刷新到磁盘中。LOGBUFF 定义了逻辑日志缓冲区的数量，缓冲区的大小决定了它被添满的频率，从而决定了它必须被刷新到硬盘上的逻辑文件中的频率。一般情况下，Informix IDS 建议设置为 16KB 或 32KB  　　物理日志缓冲区在 Informix IDS 修改或着删除记录之前，将该记录的原始值存入到物理日志缓冲区中，在事务失败时，用于恢复数据，以保持数据的一致性。在 Informix IDS 初始化时，创建了两个物理日志缓冲区，也以循环的方式运作。与物理日志缓冲区对应的参数是 PHYSBUFF。  　　锁包含可用锁的数量，每个用户对数据库的连接并执行数据库的操作，都需要一定数量的锁。在 Informix IDS9.2 以后的版本中，当用户的锁不够时，可以动态的分配锁的数量。在以前的版本中，该数值是固定不变的。与锁对应的参数是 LOCKS。一般情况下设置为 2000 到 8000000 个。  　　2．共享内存虚拟存储区的参数  　　共享内存虚拟存储区存储各种各样的不同数据，可以分为：内部表、较大的缓冲区、会话数据、线程数据（堆栈和堆）、数据分布缓存器、字典缓存器、SPL 例程缓存器、SQL 语句缓存器、排序池、全局池。  　　影响虚拟存储区的参数是：SHMADD、SHMVIRTSIZE 、STACKSIZE。  　　SHMVIRTSIZE 定义了分配 Informix IDS 共享内存的虚拟存储区的大小。Informix IDS 在处理大型查询或高峰负荷的需要增加共享内存给虚拟存储区，但是共享内存的分配需要增加事务处理的时间，故在设置SHMVIRTSIZE 值时，一般考虑能满足一个日常操作的需要。  　　STACKSIZE 指示了数据库服务器为每个活动线程指派的初始堆栈的大小。如果将该参数配置得过小，那么线程将无法拥有执行其程序的足够内存空间，而且它将干扰其他线程。  　　SHMADD 定义了 Informix IDS 自动加到虚拟存储区的共享内存增量的大小。在增加共享内存时，要占用CPU 周期；每次的增加量越大，增加次数就越少，留给其它的进程的内存也越少。所以一般采用大的增加量。但是在内存负荷很重时，少量增加使其他程序更好的共享内存资源。所以，如果实际内存小于等于 256MB，则建议 SHMADD 使用缺省值 8192KB；如果在 256MB 到 512MB 之间，则设置为 16384KB;如果大于 512MB，则设置为32768KB。  　　可以用命令 onstat -g seg 来显示 IDS 当前共享内存虚拟区中的段的数目。  　　Informix IDS 在初始化时，如果定义的虚拟内存区尺寸太小，会自动向虚拟区附加其他操作系统段，虚拟内存中的段过多从而引起数据库的整体性能下降。所以在初始化时，将虚拟内存区的尺寸配置得足够大，以避免进行动态的分配共享内存段。在该列的输出中，class 列为 R 是驻留内存段，V 是虚拟内存段，M是消息内存段。如果显示的虚拟内存段多于三个，那么就需要提高配置文件中 SHMVERSIZE 参数的值。  　　命令 onstat -p 是监控内存的另一个命令。其输出结果中的两个 %cache 显示了读写高速缓存比例的百分比，一般在 80% 到 90%之间，如果低于80%，要调节 BUFFERS 参数值。ovlock 字段表明 IDS 在使用了最大数量的锁之后尝试过再使用锁的次数，如果该数字非零，可能需要提高配置文件中 LOCKS 参数的值。ovbuf 字段表明 IDS 在使用了最大数量的缓冲区之后尝试过再使用缓冲区的次数。如果该数字很大，比如说超过 100000，就需要提高 BUFFERS 参数，以便用户在需要从磁盘访问数据时不必等待缓冲区。在监控内存的使用情况时还可以采用 Unix 系统命令 vmstat。  　　存储器及 I/O 的参数调整和监控  　　Informix IDS 支持两种基本的数据存储设备裸设备和文件系统，建议使用裸设备存储数据文件。与文件系统相比，裸设备在存取数据时要快得多，而且对用户来说是看不到裸设备文件的，要安全一些。使用文件系统作为数据存储设备还有一个潜在的危险，当文件系统由于某些操作系统的错误而崩溃，且有一个数据库事务正在进行时，数据库服务器将认为数据库事务已经成功完成，但实际上，该事务正陷入操作系统缓冲区中，这最终将导致数据库中的某些不一致。  　　Informix IDS 在 dbspace 中存取数据，dbspace又包含一个或多个 chunk（块）。在 9.40 以后的版本中chunk的大小可以超过 2G，在以前的版本中不能超过2G。可以使用 onsta－d 监控 dbspace 和 chunk 的使用情况和状态。  　　与 I/O 参数调整直接相关的是检查点。检查点是使磁盘上的页与共享内存缓冲池中的页同步的过程。检查点时间包含检查点间隔时间和检查点持续时间。在检查点期间，IDS 阻止用户线程进入临界会话，并阻止所有的事务活动。因此，检查点持续时间过长，用户会经历系统挂起。  　　CKPTINTVL 参数指定检查点之间的时间间隔。当检查点间隔到了，则系统执行检查点操作。  　　PHYSFILE 指定物理日志的大小。一旦物理日志（PHYSFILE）的75%已满，检查点也会发生。  　　LRUS 参数指示共享内存缓冲池中设置的最近最少使用（LRU）队列数目。  　　可以用 LRUS 和 LRU_MAX_DIRTY 及 LRU_MIN_DIRTY 来控制在满的检查点之间页被刷新到磁盘的频度。在某些情况下，通过设置这些参数，使得在检查点发生时需要刷新修改的页数量很少，可以达到高的吞吐量；假如检查点持续时间始终超过 10 秒甚至以上，那么可能需要减少 LRU_MIN_DIRTY 和 LRU_MAX_DIRTY 配置参数的值以获取更短的检查点持续时间。可以使用 onstat -R 和 onstat -P、onstat -F 命令的输出来确定参数值的大小。一般情况下 LRU_MIN_DIRTY 设置为 50，LRU_MAX_DIRTY 设置为 70。  　　调整 Informix IDS 参数来优化数据库性能，是 Informix IDS 性能优化的一个方面，它的性能调优还要从网络、硬件、操作系统、应用程序等多个方面来综合考虑，其性能的优化是一个高度复杂，异常繁琐而且涉及面很广的综合性工作，而且它们之间相互关联，相互影响。在调整过程中，应该明确数据库的运行状况和系统资源的使用情况，确定问题的瓶颈出现在哪里。然后根据问题的所在来优化数据库的性能。数据库参数的调整是数据库优化的一个方面，在此只是想起到一个抛砖引玉的作用。