|
目 录 一、前言 二、方案设计原则 三、现有环境介绍 四、系统架构设计 1、系统逻辑视图 2、系统架构整体拓扑图 3、IBM system director架构整体拓扑图 五、设计目标 2. 硬件需求列表 3. 软件需求列表 六、系统规划 七、网络设计规划 （一）网络逻辑示意图 （二）服务网络示意图 （三）网络规划 vlan划分 八、存储设计规划 （一）shared storage pool结构图 （二）ssp 逻辑架构图 （三）ssp 自动精简原理视图 （四）存储规划示意图 九、实施步骤及规划 十、功能模块说明 1. VMControl 基本模块功能说明 1.1 虚拟分区的创建 1.2 虚拟分区的修改 1.3 虚拟分区的删除 1.4 动态的增加、减少虚拟分区的资源 2.VMControl 镜像管理模块功能说明 2.1 VMControl 的基本概念 2.1.1 虚拟服务器 2.1.2 虚拟应用 2.1.3 镜像服务器 2.1.4 虚拟 I/O服务器 2.1.5 OVF 格式 2.2捕获(Capture)虚拟分区 2.3 部署(Deploy)虚拟分区 2.4 导入虚拟应用 2.5 导出虚拟应用 十一、附录：环境检查 1、powerVM版本确认 2、HMC版本检查 3、检查vios版本 4、检查director状态及版本 十二、效果演示 一、前言 现代企业对 IT 系统容量和性能的要求越来越高，IT 基础设施日益复杂，IT 管理难度和管理成本随之提高。如何有效保持关键业务系统的高可用性，减低故障率，节约运营成本，达到高效管理，是企业面临的最大的挑战之一。 二、方案设计原则 基于上述要求，在整个方案设计中我们主要遵循了以下几个原则：
三、现有环境介绍 现有环境架构拓扑 如上图所示，每台P570使用物理LPAR划分1-2个分区，存储资源和计算资源没有建立统一的资源池，属于分散式管理，缺点是，资源利用率低，不方便管理，服务器维护和升级有时需要把应用下线。 四、系统架构设计 1、系统逻辑视图 如上2图所示，天成云可以管理多种虚拟化管理平台，包括ibm system director powerVM VMware oracle LDom,本文只涉及ibm云资源池， IBM Systems Director 通过统一的 Web 用户界面， 把各种 IT 资源之间的关系和状态等信息用可视化的方式表现出来。通过该 Web 界面，客户可以管理底层硬件、操作系统和平台管理器 ( 如硬件管理控制台 HMC)。由于 IBM Systems Director 是基于行业标准开发的，它既能管理 IBM 的平台，又能管理非 IBM 的平台。 除了这些基本的系统管理功能，IBM Systems Director 还提供了多种扩展功能。这些扩展功能以 IBM Systems Director 插件的形式提供，能满足不同的管理需求。比如，能源管理插件可以对每台设备或设备组进行耗电量监测和温度监测，并可对用电量进行控制。呼叫服务插件则可以收集错误信息并自动与 IBM 呼叫中心连接。远程部署插件可以对系统和应用安装文件统一分发、并发安装。其中最常用的插件vmcontrol可以进行虚拟机创建及映像库、系统池的管理。 2、系统架构整体拓扑图 本系统由IBM UNIX服务器组成，在服务器上部署Director 和VMControl管理软件实现虚拟化环境下服务器资源的管理与控制。本系统计算资源池由8台IBM p570组成，存储资源池使用最新的shared storage pool(SSP)技术。传统IBM云解决方案中一般使用SVC或者V7000作为存储资源，使用storage control进行自动管理。因现场环境中使用的是EMC cx480存储，本方案是非IBM存储环境中最优的解决方案，性能跟传统方案中的vscsi或者NPIV比较接近，性能损失不大，而且可以实现很多高级的功能，比如可以做到分配给虚拟的存储进行自动精简，当有实际数据写入时才占用物理存储空间，还可以实现快照等功能。天成云服务器和director server如果资源非常充足建议使用物理服务器，也可以使用虚拟机代替。 以下是各个模块的说明： HMC：硬件管理控制台，管理所有Power服务器硬件资源。HMC中网络配置为公网和私网2个地址，公网地址用于远程管理，私网地址用于和p570进行内部通讯，这样管理和内部通讯互不干扰，这样配置有利于提高安全性和提高通讯效率。 Director服务器：集成VMControl 2.4虚拟化管理软件，实现对物理服务器和虚拟化环境的集中管理。 天成云服务器：可以统一调度ibm system director，及其他虚拟化平台。 UNIX服务器系统池：是把8台p570服务器资源进行池化，当有虚拟机创建请求时，根据服务器系统池内置的策略，比如性能优先，会自动部署到性能较高资源较充足的服务器上，系统池内的服务器可以实现在线活动分区迁移（LPM）等高级功能而无需进行复杂的配置，根据现场环境，前期可以先把2台p570组建系统池，后期可以动态添加服务器。 vios cluster：把每台p570的双vios共计16个vios组建集群，以实现shared storage pool shared storage pool一个带有全局命名空间的分布式数据对象库。分布式数据对象库使用专门为 VIO 服务器存储虚拟化功能开发的群集文件系统。 每台p570的2个vios分别通过双HBA卡分别连接到2个EMC ds5300光纤交换机 ，EMC cx480也是通过双链路连接到EMC ds5300，整个链路均采用冗余设计，提高可靠性和可用性。 3、IBM system director架构整体拓扑图 如上图所示，IBM system director主要插件vmcontrol,主要功能是创建及管理虚拟机和管理映像库，storage conrtol和SMI-S交换机代理程序主要功能是管理SVC和V7000等IBM存储，实现存储自动化功能，本方案中可以不使用storage control,如果考虑以后增加SVC或者V7000到时再安装即可。在新版的ISD6.3中已经可以管理shared storage pool, 五、 设计目标 主要针对 IBM Power 服务器,实现3个主要特征:统一资源管理、高度虚拟化、在线迁移、快速部署。 1.1 通过 IBM Systems Director 实现对服务器的集中监控 简要说明: 我们采用 IBM Systems Director 把本次项目中的物理服务器统一监控起来,这包括了如下几个方面: 1)资产管理 Director 能发现并罗列所有被管理的服务器,让我们非常清晰的知道有哪些物理设备,和这些设备的具体配置(CPU、内存等) 2)状态管理 所有被管理的 IBM 服务器的硬件告警、报错等信息,都自动的发送到 Director 中,让我们能统一了解物理设备的良好情况。 3)性能管理 如果需要,可以在被管理服务器的操作系统中安装 Director 客户端,这样我们可以统一了解设备的资源利用率(如 CPU、内存等) 4)更新管理 对Director，HMC，服务器微码进行更新。 1.2 通过 VMControl 实现对 IBM Power 服务器的虚拟机(分区)的集中管理 简要说明: 在有多台 IBM Power 服务器的环境中，通常会存在多台 HMC,每台 HMC 管理一部分 Power 服务器。如果大部分 Power 服务器划分了分区,那么分区的总数量会比较多。如何快速的找到某个分区,并对这个分区进行管理,这对系统管理人员是个不小的麻烦。VMControl 是 Systems Director 的一个插件,负责虚拟化的管理。通过 VMControl 我们可以在一个点上对所有的 Power 服务器及其分区进行列管理。 1）实现HMC管理功能 通过VMControl 实现 HMC 的功能,比如分区的创建、修改、删除等。 2）CPU使用率监控 通过图形界面监控分区及服务器的CPU使用率（分区必须为共享CPU模式，只有所有分区均为共享模式时才能显示整个物理服务器的CPU使用率）。 1.3 通过 VMControl 实现对 IBM Power 服务器环境中虚拟应用的管理 简要说明: 实现了对虚拟机(分区)的集中管理,只是第一步,因为这是定义了一个虚拟机需要多少 CPU、内存、IO 等。接下来还需要安装操作系统、中间件如 Oralce、Websphere 等。为满足快速部署的要求,VMControl 支持 OVF 格式的镜像创建(在 VMControl 中把 OVF 镜像称为虚拟应用 Virtual Appliance)。一个 OVF 镜像包括了对虚拟机的定义、以及可启动的操作系统包、和预安装的软件。VMControl 可以捕捉一个正在运行中的虚拟机(分区)来创建一个 OVF 镜像,并把这些镜像保存在镜像库中。我们可以根据需求,创建多个不同组合的镜像,比如 AIX6.1 Oracle 等等。在需要的时候,通过 VMControl 快速的部署到 Power 服务器中。具体功能如下： 1）捕获分区 通过VMControl抓取分区的镜像文件，将其保存在ssp映像库中 2）部署分区 通过VMControl部署已经抓取的镜像文件到物理服务器上，VMControl自动完成分区创建和镜像恢复过程。当前用户环境中使用的是IBM V7000的光纤存储系统，通过StorageControl插件Director可以管理V7000存储设备。VMControl自动部署分区的rootvg是建立在LUN设备之上的，此类分区可以通过活动分区迁移技术完成分区迁移。当使用shated storage pool技术时，VMC自动从SSP中划分LU，和模板LU进行对拷，拷贝完成后自动挂载给虚机，虚机启动后用此LU作为自己的rootvg，因模板中已经配置了AE（Activation Engine可以配置预定义的IP主机名等功能的工具）虚机启动后就可以配置好预定义的IP等信息。以虚拟存储10G大小为例，部署时间在40秒左右，速度非常快，大大提高工作效率。 2. 硬件需求列表 Power 570服务器 ≥2台 power6及以上，CPU≥2、内存≥128G、硬盘≥2、千兆网卡≥4、HBA卡≥4 HMC≥1台 存储设备≥1台 光纤交换机≥2台 网络交换机 ≥2台 天成云服务器，X86服务器或者虚拟机，CPU≥2 内存≥4G 硬盘≥60G 网卡≥1 director服务器，IBM power服务器或者虚拟机，power6及以上，CPU≥2、内存≥64G、硬盘≥2、网卡≥2 3. 软件需求列表 AIX 企业版 --包含AIX6.1标准版TL08-01-1245（操作系统） --System Director6.3.2 企业版（实现对服务器的集中监控） --VMControl 2.4 企业版 (实现对 IBM Power 服务器的虚拟机/虚拟应用的管理) PowerVM企业版 （提供微分区，虚拟I/O，分区迁移等必要的功能） StorageControl 4.2软件 （提供对V7000存储设备的管理，可选） VIOS2.2.2.1及以上 HMC V7R7.4及以上 六、 系统规划 注: 1.每台P570虚拟 I/O服务器配置2台虚拟I/O服务器。 2.每个虚拟I/O服务器通过2块光纤卡连接光纤存储。 3.每个虚拟I/O服务器配置4块双口以太网卡。 4. 每个客户分区的1块硬盘来自2个虚拟I/O服务器（实现路径冗余） 七、 网络设计规划 （一）网络逻辑示意图 内部管理网络 如果要实现分区资源的动态分配，570服务器HMC端口除了要和HMC的eth0相连用于硬件管理之外，每个分区还要选择一个网口与HMC的eth1连通，用于动态逻辑分区功能。如果该网络不与用户内网连通，可以在HMC上配置eht2接口，用于对HMC的远程管理。 用于生产的虚拟网络（业务网络） 连接所有的虚拟服务器构成业务网络，最终用户通过此网络访问虚拟服务器。 （二）服务网络示意图 以下是方案的设计要点： 每个虚拟IO服务器上部署一个或多个SEA适配器为客户端LPAR提供服务，并且每块SEA适配器下配置两块物理网卡做链路聚合(Link Aggregation)，配置为双活的方式。SEA适配器的数量取决于用户业务网络的网段数量。 两虚拟IO服务器间通过VLAN99实现SEA适配器间的心跳，当一台虚拟IO服务器出现问题时，虚拟以太网服务能自动切换到另一台虚拟IO服务器。 虚拟IO服务器1作为VLAN1的主服务器，虚拟IO服务器2作为VLAN1的备份服务器。 当有多个SEA适配器时，可以将SEA的主服务器分配到两个虚拟IO服务器中，以平衡虚拟IO服务器的负载和网络流量。 取决于服务器端的网卡链路聚合的模式，外部以太网交换机上可能需要做trunk配置以支持双网卡链路聚合(Link Aggregation)。 （三）网络规划 vlan划分
如果各虚机间要实现vlan网络隔离，可按上图方式划分vlan，在vios端，启用802.1q,添加例如，10.20.30vlan id，在虚机端网卡设置PVID分别是10.20.30，此时虚机的vlan id穿过SEA时保留tagged,此时要在外部交换机启用trunk模式，并配置10.20.30 vlan id。 所有服务器及网络连接．根据实际情况修改
网络连接，根据实际情况修改 八、 存储设计规划 （一） shared storage pool结构图
Shared Storage Pool 的概念 共享存储池是一个 SAN 存储设备的池，这些设备可以跨多个 VIO 服务器。共享存储池是由 2 部分构成的：1.VIO 服务器群集；2. 一个带有全局命名空间的分布式数据对象库。分布式数据对象库使用专门为 VIO 服务器存储虚拟化功能开发的群集文件系统。 当 VIO 服务器启用共享存储池的时候，VIO 服务器通过逻辑单元（logical units）来使用存储池中的空间，并将逻辑单元映射给客户端分区使用。逻辑单元是一个基于文件的存储设备。在客户端分区则将其识别为一个虚拟 SCSI 磁盘。逻辑单元包含了虚拟块和一个虚拟块地址空间。共享存储池使用的物理卷被视为一些物理块的聚合，这些物理块通过物理卷上的元数据进行管理。共享存储池中的物理卷包含了物理块和一个物理块地址空间。系统通过 VATL(Virtual Address Translation Look aside) 来处理从虚拟块地址到物理块地址的转换。 （二） ssp 逻辑架构图
相对于 Storage Pool， Shared Storage Pool 有以几个特征： 1. SSP 中的磁盘只能是存储提供的，而不能是 VIOS 的本地盘。 2. SSP 中的磁盘不可删除（只能被替代）。 3. SSP 的空间不能减少。 4. SSP 可用空间的增加 , 只能通过两种方式：1. 向 SSP 中增加新的 PV。2. 将 SSP 中现有的磁盘用容量更大的一块磁盘替代（替代的盘的容量必须大于或者等于被替代磁盘的容量）。 Shared Storage Pool 的新特性 从 VIOS2.2.2.0 开始，SSP 的功能有所增强，体现在以下 2 个方面： 1. 一个 SSP Cluster 支持的 VIOS 节点的数量由 1 个增加到 16 个、SSP 中一个 VIOS 可以支持的 VIOC 的数量由 1 个增加到 200 个，这使 SSP 能够跨物理服务器，为多个 VIOC 提供服务。 2. 一个 SSP 可支持的最大物理磁盘数量由 1 个增加到 1024 个、一个 SSP 支持的单个磁盘的容量由 5GB 增加到 16TB、一个 SSP 支持的总容量由 10GB 增加到 512TB、每个 virtual disk 的支持最大容量由 1GB 增加到 4TB、一个 SSP 支持的 Virtual disks 最大数量由 1 个增加到 8192 个，这都使 SSP 能够提供的存储空间由以前 GB 的数量级产生了质变化。 （三） ssp 自动精简原理视图
逻辑单元（logical unit）源于 SSP，为 VIOC 提供磁盘空间。VIOS 可以将一个逻辑单元映射给一个或者多个 VIOC。 逻辑单元有两种类型： 瘦体： 这种类型是默认的逻辑单元类型 只有当 VIOC 有空间需求的时候才进行分配。 只有当 VIOC 真正使用逻辑单元的空间时，SSP 中的可用空间才会减少 胖体： 当将逻辑单元映射给 VIOC 的时候，空间就会分配。 当讲逻辑单元分配给 VIOC 的时候，SSP 中的可用空间立即减少。 （四） 存储规划示意图
下面为虚拟SCSI的设计原则： 所有客户端分区的rootvg采用shared storage pool上的lu设备，并且来自两个虚拟IO服务器，保证磁盘的高可用性。当vios1宕机后备用链路vios2立即启用，保证链路高可用。客户端分区使用多路径驱动保证高可用性。 每个虚拟IO服务器部署两块光纤卡以实现光纤通路的高可用。 虚拟IO服务器与CX480存储设备物理连接示意图。根据实际情况修改。 SAN交换机zoning配置，根据实际情况修改。
九、 实施步骤及规划 系统安装的进度安排如下表
十、 功能模块说明 1. VMControl 基本模块功能说明 1.1 虚拟分区的创建 实现类似于HMC的分区创建功能，给分区分配一定的CPU、内存及物理、虚拟板卡资源，建立虚拟分区的概要文件。无需在每一台HMC上单独做此操作。 1.2 虚拟分区的修改 实现虚拟分区资源的调整，如调整CPU个数，内存大小等需求，类似于HMC的调整分区概要文件功能。 1.3 虚拟分区的删除 实现虚拟分区的删除功能。 1.4 动态的增加、减少虚拟分区的资源 通过IBM 小型机的DLPAR技术，实现对CPU、内存及IO资源的动态调整。VMControl 作为统一的管理接口，与HMC进行交互，通过HMC控制正在运行的虚拟分区以增加或释放资源，整个过程不中断虚拟分区的正常运行。 2.VMControl 镜像管理模块功能说明 实现通过 VMControl 实现对 IBM Power 服务器环境中虚拟应用的管理。 简要说明: 实现了对虚拟机(分区)的集中管理,只是第一步,因为这是定义了一个虚拟机需要多少 CPU、内存、IO 等。接下来还需要安装操作系统、中间件如 Oralce、Websphere 等。为满足快速部署的要求,VMControl 支持 OVF 格式的镜像创建(在 VMControl 中把 OVF 镜像称为虚拟应用 Virtual Appliance)。一个 OVF 镜像包括了对虚拟机的定义、以及可启动的操作系统包、和预安装的软件。VMControl 可以捕捉一个正在运行中的虚拟机(分区)来创建一个 OVF 镜像,并把这些镜像保存在镜像服务器中。我们可以根据需求,创建多个不同组合的镜像,比如 AIX6.3 Oracle 等等。在需要的时候,通过 VMControl 快速的部署到 Power 服务器中。 2.1 VMControl 的基本概念 2.1.1 虚拟服务器 一台虚拟服务器关联一台物理服务器。物理服务器需被IBM System Director系统管理并支持。操作系统及其他软件可以被安装到此虚拟服务器中。在UNIX平台上，此虚拟服务器即逻辑分区(LPAR)。在PC服务器中，此虚拟服务器及VMWare的虚机。 虚拟服务器是物理平台的逻辑实体。在IBM System Director发现一台物理服务器后，它将随即试图发现在此台物理服务器上的所有虚拟服务器（LPAR)。当它们被发现后，它们能被IBM System Director控制启动或停止。 下图显示了虚拟服务器及上面安装的操作系统及软件：
2.1.2 虚拟应用 虚拟应用是预先定义好的操作系统及软件的实体，它被IBM System Director所存储。虚拟应用包含完整操作系统的镜像及其上面的软件应用、中间件。虚拟应用还包含元数据信息去描述部署虚拟服务器镜像所需的资源（CPU，内存及IO）。 下面是虚拟应用的示例：
2.1.3 镜像服务器 镜像服务器（VIOS充当）部署在P750服务器上，提供镜像的保存、管理及部署功能。镜像服务器通过SCS（storage copy service)来快速部署用户应用，用户无需用光盘进行单独的安装。 2.1.4 虚拟 I/O服务器 虚拟I/O服务器是IBM 自Power5处理器问世以来的高级IO资源虚拟化技术。虚拟 I/O服务器是一种特殊的逻辑分区（LPAR），用来控制网络及存储资源的分配。我们把物理网络资源（网卡）分配到虚拟I/O服务器上，再由虚拟 I/O服务器上的网络共享适配器（SEA）作为网桥为此台物理服务器上的逻辑分区提供虚拟网络连接。逻辑服务器上的虚拟网卡通过PowerVM的虚拟网络技术连接到虚拟 I/O服务器上的物理网卡，实现与外界交换机的以太网通讯。虚拟 I/O服务器同样可以提供存储的虚拟化技术，通过把物理的光纤卡分配到虚拟 I/O服务器上，虚拟 I/O服务器能识别到外接的存储盘。通过PowerVM的虚拟SCSI技术， 此服务器上的逻辑分区可以访问到实际的外接存储盘。 2.1.5 OVF 格式 VMControl 支持符合工业标准(DMTF Distributed Management Task Force)的OVF(Open Virtualization Format)格式的虚拟应用。此OVF格式包（虚拟应用）是一台虚拟服务器镜像（操作系统，中间件及上层软件）的外在表示，还包含描述虚拟服务器的元数据信息（CPU,内存，网络，存储）。OVF 用XML格式的描述文件分节描述具体的信息，具体内容见VMControl的使用手册。 2.2捕获(Capture)虚拟分区 业务应用中往往系统环境有类似的需求，以往逐一地对系统进行部署需要花费很长时间。在云环境中，可以先建立出标准的系统环境，然后把标准环境制作成镜像，保存在镜像池中统一保管。根据业务的需要，可以随时复制工作负载到系统池中。 通过VMControl 管理软件对已经运行的虚拟分区（虚拟服务器）做rootvg的系统备份，然后把系统备份（包括虚拟分区上的操作系统及软件）及虚拟分区描述元数据描述信息（CPU,内存，网络要求）集合成虚拟应用，存储在镜像服务器中。
2.3 部署(Deploy)虚拟分区 VMControl 支持把虚拟应用部署到虚拟服务器的功能。当通过VMControl GUI接口选择一台物理服务器（或系统池）后，VMControl 将询问此台新虚拟服务器的IP地址，主机名，VLAN等网络信息，然后控制HMC去创建虚拟服务器（LPAR），分配所需的CPU、内存及网络存储资源。之后VMControl 再调用镜像服务器发起SCS安装，部署新的虚拟分区，分区部署后即带有原镜像上的操作系统及软件，主机名IP地址为用户自定义的数值。 其中网络及存储资源由物理服务器上的虚拟IO服务器提供资源。VMControl 控制在虚拟分区上建立虚拟网络适配器，并指定合适的VLAN号使虚拟分区连接到合适的网络上。VMControl控制ssp去提供存储盘到虚拟I/O 服务器，再控制虚拟I/O服务器把存储盘映射到虚拟分区上，虚拟分区即可通过虚拟 I/O服务器使用存储资源。 2.4 导入虚拟应用 当用户有多个云系统时，为了使每个云系统方便的共享系统镜像，以快速推广用户的新应用。VMControl 提供虚拟镜像导入功能。镜像格式需遵从Open Virtualization Format 工业标准，它是一种开放、安全、可迁移、有效且可扩展的格式，用于帮助用户封装和分发希望在虚拟机上运行的软件。 VMControl提供虚拟应用导入功能, 可以把虚拟应用上传到Director服务器, 再调用VMControl把虚拟应用复制到镜像服务器上保存。 2.5 导出虚拟应用 VMControl 提供导出虚拟应用的功能，使虚拟应用可以拷贝到任意文件服务器上。此虚拟应用可以再被部署到其他异地的UNIX服务器云中。VMControl的虚拟应用遵守工业标准的OVF格式，在2.1 VMControl的基本概念中有所介绍。 十一、附录：环境检查 1、powerVM版本确认
如以上两项，为true表示powerVM为企业版
用以上方法激活powerVM 2、HMC版本检查
3、检查vios版本 $ ioslevel 2.2.2.1 $ 4、检查director状态及版本 # oslevel -s 6100-08-01-1245 # smstatus -r Active
十二、效果演示 1、部署虚拟机 选取模板
下一步
选中系统池
默认磁盘大小，此大小等于模板大小
输入虚拟的名称
选择需要的VLAN
填写IP等信息
完成
部署中
部署完成
通过部署日志可以看到部署一台虚机时间在48秒，
 专注于数据中心基础设施运维与运营管理，分享运行维护经验，分享数据中心行业发展趋势及新技术应用。 |
|
|
