|
导语：
金融行业广域网上主要承载着实时交互的联机类业务，对网络时延和丢包都非常敏感。由于广域网线路的特殊性，包括带宽稀缺、稳定性差、排障困难等不利因素，很容易成为整网的故障高发区。金融行业对网络可靠性的要求高于其他行业，在网络局部发生故障的情况下，一般要求在10s以内能够自动恢复网络连通性，才能将网络中断产生的负面影响限制在可控范围内。 本文以某大型机构机构的广域组网为例，图1为该金融机构的全国数据中心网拓扑图： 图1 某金融机构数据中心广域网拓扑图 由图1可以看到，全网由两个数据中心、总部大楼组成，北京数据中心为生产备份中心，上海数据中心为生产主中心，两个中心互为备份。数据中心、总部大楼都有各自的广域区，广域区由2台汇聚交换机和多台接入路由器构成，横向连接局域网与广域网，纵向连接各级广域网。 1路由规划采用分层路由模型，在广域网的入口处（广域区交换机）标记路由，在广域网核心位置（广域路由器）根据路由类型作数据分流，总体路由协议规划如图2所示： 图2 路由协议总体规划 广域网使用BGP路由协议，为北京数据中心、上海数据中心、总部大楼各分配一个AS，三者之间建立eBGP邻居关系。广域网的分流基于BGP Local Preference属性来实现，在eBGP邻居的入方向设置路由LP值，LP值大的路由优先。 广域区内部运行iBGP，两台广域区交换机为整个广域区的路由反射器，其他路由器为路由反射器客户端。此外，还需要运行一个OSPF 300的进程，不承载业务路由，只用于交换广域区设备的loopback地址路由，供iBGP建立邻居关系用。 局域网内部运行OSPF 100进程，广域区交换机为广域网和局域网的交汇点，同时运行OSPF 100、OSPF 300、BGP三种路由协议，其中OSPF 100与BGP之间存在路由再发布关系。 分支机构广域网运行OSPF 400进程，总部大楼下联路由器为iBGP与OSPF 400的路由再发布边界，用于交换分支机构与总部大楼的路由。 2路由收敛路由收敛指网络从链路或者设备发生故障，到全网节点计算出新的路径的整个过程，与组网结构、路由协议、链路类型、设备性能都有关系。路由收敛的大致过程如图3所示： 图3 路由收敛过程 （A） 链路检测 广域网链路可以分为具备链路检测能力和不具备链路检测能力两类。具备链路检测能力的广域链路有SDH、ATM等，其中SDH物理层支持端到端的故障发现，ATM通过OAM也能够检测端到端连通性。在中间链路故障的情况下，两端路由器通过链路检测机制快速发现故障，关闭广域网端口，并通知上层路由协议，加快路由收敛速度。不具备链路检测能力的广域链路有FR、MSTP等，在中间链路出现故障的情况下，两端路由器不能感知链路故障，广域网端口依旧UP，上层路由协议无法快速收敛。 除了广域链路协议自身的检测机制外，还有一些与链路无关的IP层检测机制，比如BFD、NQA等。BFD（Bidirectional Forwarding Detection，双向转发检测）是一种RFC标准的IP层双向可达性检测协议，支持ms级的检测精度，能够与OSPF、BGP等路由协议联动，而NQA（Network Quality Analyzer，网络质量分析）是厂商私有的IP层可达性检测协议，也支持ms级的检测精度，一般与静态路由配合使用。 （B） 路由检测 不管广域网链路是否支持链路检测，动态路由协议都有自己的邻居状态检测机制，比如OSPF的hello，BGP的keepalive等，但是路由协议的检测时间一般要长于链路检测，OSPF的缺省值为4x10s，BGP的缺省值为3x30s，远远高于ATM OAM的检测时间1x3s。 （C） 路由扩散 直连路由器发现链路故障后，马上将路由变化信息传递给所有的路由协议邻居，邻居路由器以同样的方式将这条路由信息泛洪给所有其他邻居，这个过程一直持续到全网节点都收到这条路由更新信息为止，从而达到全网路由信息的同步。 （D）路由计算 路由器收到路由更新信息后，会尽快重新计算路由，有些路由协议为了提高网络的稳定性，会滞后计算路由表，比如OSPF的缺省SPF计算时延为5s，也就是每当有路由变化时，需要等待5s，才能生成新的路由。 1. 核心骨干网路由收敛 以上海中心业务网段A为例（图4），北京中心访问上海中心业务网段A时，优选核心骨干网链路1，备选核心骨干网链路2，如果链路1发生故障，业务网段A路由需要多长时间才能切换到链路2上？ 图4 核心骨干网路由收敛示例 从链路1中断到网段A路由恢复连通，整个路由收敛过程如下： （1）假设链路支持物理层的链路连通性检测，能够在50ms内发现链路故障问题，链路1两端互联路由器eBGP状态回退至IDLE； （2）北京中心核心路由器1向路由反射器（即北京中心两台广域区交换机）发送网段A的路由撤销； （3）北京中心广域区交换失去到业务网段A的路由，于是向北京中心核心路由器2发送网段A的路由撤销，并在OSPF 100中删除网段A的外部路由，北京中心局域网内部到业务网段A的路由中断。 （4）北京中心核心路由器2重新计算BGP路由，优选上海中心核心路由器2发布的eBGP路由，并向北京中心广域区交换机转发这条路由。 （5）北京中心广域区交换机重新计算BGP路由，优选北京中心核心路由器2发布的BGP路由，转发给核心路由器1，并在OSPF 100中重新生成网段A的外部路由，北京中心局域网内部到业务网段A的路由恢复。 从以上路由收敛过程来看，核心骨干网的收敛时间包括链路检测时间（<1s）、BGP路由扩散时间（<1s）、OSPF外部路由扩散时间（<1s）等，因此总的收敛时间可以达到<10s的要求。 虽然SDH线路自身支持链路层的快速检测，但考虑到SDH技术的复杂性以及线路的稳定性，也可以在SDH之上启用BFD协议，与eBGP进行联动，确保SDH线路故障情况下，路由能够快速切换到正常链路上。 2. 总部大楼广域网路由收敛 以总部大楼业务网段B为例（见图5），上海中心访问总部大楼业务网段B时，优选上海中心至总部大楼链路1，备选上海中心至总部大楼链路2，如果上海中心至总部大楼链路1发生故障，业务网段B路由需要多长时间才能切换到上海中心至总部大楼链路2上？ 注：北京中心访问总部大楼业务网段B时，用户要求优选绕行上海中心的路径，即'核心骨干链路1、上海中心至总部大楼链路1'路径。
从链路1中断到网段B路由恢复连通，整个路由收敛过程如下： （1）上海中心至总部大楼链路1中断，两端路由器检测链路故障，检测时间需要3s，eBGP邻居状态回退至IDLE； （2）上海中心下联路由器1向两台路由反射器（即上海中心两台广域区交换机）发送网段B的路由撤销； （3）上海中心广域区交换机失去到网段B的路由，于是向上海中心核心路由器1、核心路由器2及下联路由器2发送网段B的路由撤销，并在OSPF 100中删除网段B的外部路由，上海中心局域网内部到业务网段B的路由中断； （4）上海中心核心路由器向北京中心核心路由器转发网段B的路由撤销，北京中心广域区交换机重新计算BGP路由，优选北京下联路由器1发布的网段B路由，此时北京中心访问网段B时，直接通过北京中心链路1下去，不再经过上海中心绕行； （5）上海中心下联路由器2收到网段B的路由撤销，优选总部大楼上联路由器2发布的网段B路由（eBGP路由），并将网段B路由转发给上海中心广域区交换机； （6）上海中心广域区交换机从下联路由器2收到网段B路由，重新计算网段B最佳路由，反射给上海中心下联路由器1及上海中心核心路由器1和2，并将网段B路由导入OSPF 100，上海中心局域网内部重新学到分行网段B的路由信息； （7）上海中心核心路由器向北京中心核心路由器转发网段B的路由更新； （8）北京中心广域区交换机重新计算BGP路由，优选北京核心路由器1发布的网段B路由，此时北京中心访问网段B时，需要通过核心骨干链路1，经过上海中心绕行。 从以上路由收敛过程来看，一级骨干网的收敛时间包括链路检测时间（<3s）、BGP路由扩散时间（<1s）、BGP二次扩散时间（<1s）、OSPF外部路由扩散时间（<1s）等，因此总的收敛时间也可以达到<10s的要求。 虽然在单条链路故障的情况下，收敛时间能够达到用户要求，但是BGP扩散过程非常复杂，OSPF外部路由多次删除和生成，以及北京中心BGP二次收敛的问题，给网络带来了诸多不确定性因素，因此需要对路由协议进行优化，简化路由收敛的过程，提高网络的健壮性。 主要优化措施如下： （A）骨干网上eBGP路由优先，通过在下联路由器上设置eBGP路由的preferred-value来实现。preferred-value为本地私有BGP属性，在BGP选路顺序中优先级最高，因此下联路由器都认为自己的eBGP路由最佳，并转发给广域区交换机。以上海中心广域区为例，广域区交换机学到了两份网段B的路由，分别来自于下联路由器1（主用路由）和下联路由器2（备用路由），主线路中断情况下，路由可以马上切换至备线路上； （B）广域区内部取消路由反射器，建立Full Mesh iBGP邻居关系。核心骨干路由器可以直接从下联路由器学习到两份网段B路由，单条链路故障情况下，核心骨干路由器能够马上切换至备用路由； （C）修改核心骨干网上eBGP路由的route-update-interval（route-update-interval指同一个网段的两次BGP路由更新的最小时间间隔，eBGP route-update-interval的缺省值为30s）。在跨中心切换场景下，比如上海中心至总部大楼的ATM链路全部中断，路由需要切换到北京中心至总部大楼的ATM链路上，切换过程中会出现同一网段多次BGP更新的问题，可以将核心骨干网的eBGP route-update-interval下调为5s，提高跨中心路由切换的速度。 采取以上优化措施后，一级骨干网的路由收敛过程如下： （1）上海中心至总部大楼链路1中断，eBGP邻居状态回退至IDLE； （2）上海中心下联路由器1向广域区所有iBGP邻居发送网段B的路由撤销； （3）上海中心广域区交换机立刻切换至备用路由，并在OSPF 100中更新网段B的外部路由信息，上海中心局域网内部到业务网段B的路由不中断； （4）上海中心核心路由器立刻切换至备用路由，同时向北京中心核心路由器转发网段B的路由更新，北京中心广域区交换机重新计算BGP路由，BGP路径没有发生变化，避免了BGP二次收敛的问题。 与优化前相比，优化后的路由收敛过程大为简化，主要得益于BGP提供的备份路由能力：主路由不通的情况下，能够立刻切换至备份路由上。网络稳定性和收敛速度都有明显提高。 3. 分支机构广域网路由收敛 以分支机构1业务网段C为例（如图6），总部大楼访问分支机构业务网段C时，优选总部大楼至分支机构链路1，备选总部大楼至分支机构链路2，如果总部大楼至分支机构链路1发生故障，业务网段C路由需要多长时间才能切换到总部大楼至分支机构链路2上？ 图6 分支机构广域网路由收敛示例 从链路1中断到网段C路由恢复连通，整个路由收敛过程如下： （1）总部大楼至分支机构链路1中断，两端路由器通过BFD for OSPF检测到链路故障，检测时间需要3s，OSPF邻居状态回退至down； （2）总部大楼下联路由器1、分支机构上联路由器1更新各自的router lsa，在区域内部泛洪，保证区域内部路由器OSPF链路状态数据库同步； （3）OSPF 400区域内路由器等待5s后，重新计算OSPF路由，分支机构网段C路由切换至链路2。 从以上路由收敛过程来看，分支机构广域网的收敛时间包括链路检测时间（<3s）、OSPF计算时延（5s）、OSPF LSA扩散时间（<1s）等，因此总的收敛时间基本可以达到<10s的要求。 为了进一步提高分支机构广域网的收敛速度和路由稳定性，对分支机构广域网做如下优化： （A）优化SPF调度参数。可以修改为：首次SPF调度时延为100ms，增量值为1s，最大调度时延为5s。可以大大提高首次SPF计算的速度； （B）OSPF 400路由不直接再发布给iBGP，而是在总部大楼下联路由器上配置静态黑洞路由，无论OSPF 400内部路由如何变化，BGP路由不受丝毫影响； （C）如果分支机构设备不支持BFD协议，可以在总部大楼下联路由器上启用BFD Echo for OSPF，由下联路由器单向检测链路的连通性，由于OSPF SPF算法会检测Router LSA的双向可达性，分支机构上联路由器在计算路由时会避开故障MSTP链路，实现MSTP链路的快速切换。 经过优化后，分支机构广域网收敛速度可以降低到5s左右，而且通过引入黑洞路由，充分保障了总部大楼网络的路由稳定性。 3结束语金融广域网路由快速收敛的目标是在保证路由连通性基础上，充分挖掘网络的快速重路由潜力，达到10s以内的路由切换速度。随着网络技术的发展，路由快速收敛的时间也在不断刷新，使用MPLS TE FRR等技术，已经可以达到ms级的收敛速度，因此金融广域网络的路由快速收敛之路还刚起步，任重而道远。 |
|
|
