分享

元鼎科技

 黑裤子79 2017-07-28

Oracle数据库TB级数据迁移解决方案

一、解决方案背景随着业务的不断拓展,我们经常需要对系统进行调整,比如:存储系统升级、服务器升级、平台的迁移、数据库版本升级等等,这

元鼎解决方案

 一、解决方案背景
随着业务的不断拓展,我们经常需要对系统进行调整,比如:存储系统升级、服务器升级、平台的迁移、数据库版本升级等等,这些情况我们都需要借助数据迁移工作来完成。
在迁移过程中,我们经常会遇到一些很难解决的问题。因为,如果是在相同的操作系统平台、或相同的数据库平台之间做数据库的迁移,会有较多解决方案能够实 现;但是,如果在异构环境下,做操作系统的升级或变更、数据库的升级、存储设备的升级等等,都大幅度地提高了迁移的复杂程度。
  数据库数据迁移的具体需求往往是:
数据库版本异构版本升级,如Oralce 8i 升级到 9i,甚至Oracle11g。操作系统升级:如AIX 4.3 升级 5.2,甚至是HP Unix环境下。磁盘阵列扩容:从老的磁盘升级到新的、其他不同厂家的高端磁盘中。

二、数据库迁移升级过程中面临的挑战

1、缩短业务中断的时间;

即使是有计划的业务中断也将会对企业造成巨大的损失,比如电信行业计费系统的停止、营业帐务系统的服务中断等,都会直接造成对外业务服务的中断,大大降低服务质量和客户满意度等。
据业界估计,80%的停机时间都来源于计划的下线,其中包括硬件迁移等。因此尽量缩短迁移过程所需要的时间是提高系统连续运行的关键,目前普遍要求在 3-5个小时内完成迁移,而且尽量不影响正在运行的业务系统。因此,如何保证在异构环境下的迁移,并且缩短迁移的时间和业务中断时间是本项目最关键的环节。
 2、数据的准确性;
在整个的数据迁移过程中,采用的迁移方式多种多样。由于误操作或者迁移方案缺陷极有可能导致数据库数据的不一致。
在迁移的过程中,应该制定严格的数据验证过程。在迁移前后,要有充分的准备。避免由于误操作导致数据库的数据库准确性问题。 

三、相关技术

迁移方式 优势 不足
1 Export and import · 对数据库版本,以及系统平台没有要求 · 不支持并发,速度慢
· 停机时间长
2 Oracle Data Pump · 多进程并发 · 要求10g以后的版本
· 适合中型数据库 · 不支持XML和spatial数据类型
3 Transportable tablespace (TTS) database ·快速,适合大型数据库 · 要求10g以后的版本
· 可以跨平台,但是要求具有相同的字序 · 要求相同的RDBMS版本
· 要求停机时间长
4 Cross-platform transportable tablespace (XTTS) · 快速,适合大型数据库 · 要求10g以后的版本
· 对数据库平台,操作系统平台无限制 · 对于部分应用有限制 详细见MOS 454574.1
5 oracle goldengate · 对平台和数据库类型都没有要求
· 复制熟读快,可以根据业务灵活调整
· 更短的停机时间
· 对DDL支持不是太好
6 oracle physical
 standby
· 更灵活的解决办法
· 更短的停机时间
· 不能夸平台和数据库版本
 四、实施过程
采集系统信息,业务系统信息,了解停机窗口。分析数据库的内部表结构,了解数据的分布情况。将与业务无关的数据清除,或者转储到文件系统。尽量的减少迁移过程中的数据量。了解平台信息
如果迁移的平台相同,而且数据库版本一致,但是要求的停机时间很短。可以考虑oracle DG 或者OGG来进行数据的初始化和同步。如果平台属于异构,而且停机时间较短的话。可以采用oracle XTTS增量数据传输的方式。情况很多,但是具体的实施方案都要经过严格的验证,严格的把控每一步的时间。每一步的时间是通过对网络设备带宽,存储设备的I/O,主机的的运算能力和严格的测试来确定。
数据库迁移过程应该明确的点:
1.迁移过程每一步的大致时间点,以及失败的回滚方案
2.列出可能存在的风险,以及避免的方法
3.迁移过程的数据一致性测试方案 

五、相关实施案例

“我爱我家“房地产经纪公司是国内较早从事房地产经纪以及相关产业服务的大型企业。数据量1.5TB,停机时间1小时。采用Oracle goldengate实同步方式迁移。
“北京交通研究院”数据库升级,从IBM AIX系统,10G数据库迁移到Redhat linux 6.0并升级数据库到oracle 11g R2。数据量3T,采用XTTS方式迁移。
“中国冶金地质公司”原有的IBM AIX平台迁移到linux平台,停机时间8小时。采用XTTS方式迁移。
以上只是几个典型的例子,在TB级数据迁移的过程中,会有各种各样的情况。而选择迁移的方式,无非是参考“停机窗口”,“数据量大小”,“业务数据的类型”。

成功客户

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多