第38卷
Vl0l_38
第24期
NO．24
计算机工程
ComputerEngineering
2012年12月
December2012
·云计算专题·文章编号；l0o0—_3428(2o12)24__o005—04文献标识码tA中圈分类号lTP393．02
基于云计算的网络创新实验平台
龚宇，李帅，李勇，苏厉，金德鹏，瞥烈光
(清华大学电子工程系，北京100084)，
摘要：传统网络实验平台通过直接物理设施或层叠网构建，但这类构建方案无法同时保障较高的物理资源利用率和实验网络链路质量。
为此，提出一种基于云计算平台和虚拟化技术的网络创新实验平台设计方案，并给出其原型系统TUNIE的实现。应用结果表明，TUNIE
在设计实现上能兼顾功能支持的灵活性与使用的便捷性，而且提供高性能的网络链路和具有良好网络隔离的多用户并发运行环境。
关键诃：云计算；虚拟化；网络隔离；网络创新实验平台；网络体系结构；虚拟路由器
NetworkInnovationExperimentPlatform
Based0nCloudComputing‘
GONGYu，LIShuai，LIYong，SULi，JINDe-peng，ZENGLie-guang
(DepartmentofElectronicEngineering，TsinghuaUniversity,Beijing100084，China)
[Abstract]Inordertosolvetheproblemthattheconventionalapproachesfornetworkexperimentplatforms．whichconstructanexperiment
platformeitherasaphysicalnetworkdirectlyorintheformofoverlaynetworks，cannotguaranteeahighresourceutilizationandawellnetworklink
qualityatthesametime，thispaperproposesaschemefornetworkexperimentplatformbasedoncloudcomputingandvirtualizationtechnology,and
providesitspreliminaryimplementationcalledTUNIE．Resultshowsthattheplatformisbothflexibleinfunctionsupportandconvenienceforuse，
aswellasprovidingahighbandwidthconnectionandawell—isolatednetworkenvironmentformulti—usersupport．
[Keywords]cloudcomputing；virtualization；networkisolation；networkinnovationexperimentplatform；networkarchitecture；virtualrouter
DOhio．3969／j．issn．1000—3428．2012．24．002
1概述
计算机网络架构和相关协议研究成果在过去50年不
断涌现。随着互联网不断发展与规模扩大，互联网地址不
足、移动性支持不够等根本性的问题不断显现与加剧，无
法在原有体系架构内通过演进性方案有效解决。因此，研
究人员将精力转而投向革命性的解决方案，进行新一代网
络体系结构研究。新体系结构投入实际运行前必须确保在
相对较大规模的网络中可靠运行，但现有互联网无法支持
新网络体系结构验证，因而导致研究界对于能够支持网络
体系结构验证的实验平台的迫切需求。在国外已有此类项
目启动。VINI【J是美国早期的网络实验平台项目，通过在
层叠网络上构建虚拟网络支持网络实验。GENI是美国
最新的有关网络实验平台建设的项目，通过在物理设施上
进行创新为未来网络研究创建覆盖全球范围的网络实验
平台。
搭建网络实验平台的思路一般可以归为2类：(1)利
用物理设施直接搭建实验网络；(2)利用层叠网思路构建。
直接基于物理设施搭建实验平台需要大量资金投入，且实
验网络与物理硬件紧耦合，既不利于实验需求的多样化也
不利于实验资源共享，资源利用率较低。层叠网的方式通
过互联网连接了分布在不同地理区域的资源，实验网络利
用正常的互联网数据包封装实验链路数据帧，并在应用层
进行处理。因此，任何一条实验链路都通过将有限的物理
链路带宽资源划分并顺次拼接多个物理链路虚拟而成，其
链路性能严重受制于性能最差的物理链路。层叠网方案
无法提供具有质量保障的底层链路。
构建网络创新实验平台需解决如下问题：足够数目网
络节点提供，节点间网络连接及拓扑形成，资源在不同实
验用户之间管理分配。近些年兴起的云计算为此提供了
新的解决思路。利用虚拟化技术，云计算平台划分有限物
理计算节点获得大量虚拟节点，并支持虚拟节点之间的网
络连接。云计算平台可以根据需求对虚拟节点进行灵活的
控制、配置与管理以适应资源在不同用户之间的共享。亚
马逊的EC2平台是公共云计算平台的典型例子，但对于
网络实验而言，需要云计算平台提供更多额外支持，尤其
在网络隔离方面。
基金项目：国家自然科学基金资助项目(61171065)；宽带移动通信重大专项基金资助项目(2010zx03004．002—02)
作者倚介：龚宇(1987--)，男，硕士研究生，主研方向：下一代网络体系结构，无线网络路由算法；李帅，硕士研究生；李勇，博士
研究生；苏厉，讲师、博士；金德鹏、曾烈光，教授、博士生导师
收稿日期：2012—03—30修回日期：2012—04-27E-mail：gongy06@mails．tsinghua．edu．cn
6计算机工程2O12年12月20日
本文提出了一种基于云计算模型的网络实验平台设
计方案，并给出初步系统实现——清华大学网络创新平台
(TsinghuaUniversityNetworkInnovationEnvironment，
TUNIE)。该设计方案采用集中式控制，诼统管理平台内
从资源分配到实验网络配置的各个方面利用虚拟链路和
虚拟路由器支持灵活的网络实验，通过单独网络测量系统
进行平台运行监控。
2设计目标与系统结构
2．1设计目标
网络主要由2个部分组成：网络节点与网络链路。网
络节点一般指计算机和路由器，网络链路指能够提供节点
间连接和通信的线路。对于网络实验平台而言，还应该包
括管理系统以协调不同的网络实验。
研究人员需要灵活配置网络节点。在硬件方面，研究
人员希望灵活配置网络节点硬件资源，如中央处理器、内
存、硬盘、网络接口和网络带宽等资源的配置。直接基于
物理设施的网络实验，网络节点的硬件资源配置在设备集
入系统时已经确定，后续实验不容易进行调整。在软件方
面，研究人员希望能够对操作系统进行不受限制的开发及
配置，包括内核模块编译及更新。对于传统基于操作系统
共享的实验平台，用户权限局限于应用程序内，很难对操
作系统进行功能设置。
对于网络链路，研究人员需要强大的控制支持。在一
般网络中，链路连接决定网络拓扑和可能的最大带宽，无
法提供链路质量保障。对于实验，灵活的连接关系调整可
以进行可控动态拓扑调整，而动态带宽控制则可支持流量
相关研究及实验。对于平台管理，网络链接控制提供了控
制和监测网络节点运行的通道，为隔离不同实验网络以减
少干扰提供支持。
管理系统一方面帮助平台管理员更好地管理用户和
分配资源，另一方面又能有效地支持用户在平台的实验操
作，包括实验管理、节点配置和运行状态监控等，对于实
验平台正常有序运行至关重要。
基于以上实验需求分析，本文提出在网络创新实验平
台建设方面需满足的3个基本目标：隔离性，灵活性和便
捷性。
(1)隔离性：在链路层，阻止不希望的连接以形成特定
的网络拓扑，并对上层提供动态链路调整支持。在网络层
消除并行网络之间影响，保障平台运行的稳定性，避免单
个实验网崩溃影响平台其余部分正常运行。
(2)灵活性：对于硬件资源的灵活配置可以方便用户按
照需求增强网络节点性能或调整网络规模。独立的操作系
统环境和不受限制的权限开放允许用户实现自定义设置。
灵活的链路调整功能允许用户设计可控的网络链路环境，
进行动态拓扑网络的相关研究。
(3)便捷性：网络实验通常涉及数十个节点的相似配
置，便捷的辅助操作配置可以减少大量重复操作，极大地
提升效率，同时有效地降低人工操作失误。
2．2系统结构
TUNIE是基于云计算模型的网络实验平台系统设计
的初步实现，以交换机为中心的TUNIE将所有物理机构
成全连通的物理资源簇。物理机与交换机之间通过千兆以
太网链路连接，物理机通过多网卡配置增大网络吞吐容
量。全连通的物理网络为所有的实验网数据流提供底层物
理通道支持。另外一个独立的物理网络连接所有物理机、
虚拟机及中心控制平台构成单独的控制网。TUNIE规模
易扩展，向资源簇添加物理主机，或通过虚拟专用网络
(VirtualPrivateNetwork，VPN)通道连接多个资源簇都可
实现规模扩大。TUNIE的硬件组成结构如图1所示。
田1TUNIE的爱件组成结构
图1所示的系统包含了虚拟机之间3种不同的链路连
接。运行在同一物理节点的虚拟机之间链路为PCIe
(PeripheralComponentInterconnectexpress)总线连接，相
比以太网链路具有更大的带宽和更小的延时特性。运行在
同一资源簇内不同物理节点的虚拟机之间链路为千兆以
太网链路，可根据实验设计对带宽进行约束。运行于不同
资源簇的虚拟机之间通过以太网链路连接，由于穿越公
网，带宽较低延时较大，且有限带宽被所有位于2个资源
簇的虚拟机之间的流量共享，造成网络带宽瓶颈。对此，
TUNIE采用2个策略平衡流量：(1)TUNIE优先分配同一
实验网络到同一资源簇，以避免资源簇之间的通信。
(2)TUNIE优先分配同一个实验网虚拟节点到不同的物理
机，以减弱虚拟机之间PCIe总线链路连接对于网络环境
的真实性影响。
除云计算平台通用设计之外，TUNIE采纳一系列设
计以实现本文2．1节中提出的网络实验平台3个设计目标。
(1)TUNIE在物理节点以太网层实现了链路隔离。在
物理节点上向以太网包添JJn／移除标签实现网络隔离，这
一方案在实现隔离的同时对于实验网透明。隔离依托以太
网帧而非网络层，使得平台能够更好地支持网络体系结构
创新。
第38卷第24期龚宇，李帅，李勇，等：基于云计算的网络创新实验平台7
(2)TUNIE支持虚拟路由器的用户自定义。TUNIE将
路由器设计分解为控制平面和数据平面2个部分。借鉴
VINI的设计方案，TUNIE利用XORP进行控制平面的
用户自定义，利用Click模块_6支持数据平面的自定义。
除了在用户自定义方面提供辅助与支持外，独立的虚拟节
点操作系统允许用户直接加载自定制网络模块到内核中
编译运行。
(3)TUNIE集成独立模块以简化实验网络设置和平台
管理。模块功能包括基于浏览器的图形化界面进行网络拓
扑定制和网络节点硬件资源配置、多样的路由器定制方式
支持、独立的控制网实现网络测量和网络节点操作等。
3系统实现
依据平台控制流程，TUNIE自顶向下划分为3个层：
中心控制台，物理节点层与虚拟节点层。图2是TUNIE
软件系统结构的抽象，各部分详细的讨论在本节剩余部分
给出。
：中心控制台I，一一一一一一一一一一一一一一一一一一一一一一一一一一、
团圆回圃
、……………………一-，
图2TUNIE的软件系筑结构
3．1中心控制台
中心控制台通过各种功能模块进行平台的管理与控
制。依据功能和运行环境，这些功能模块可以划分为三大
类：平台管理，实验控制与辅助工具集。
3．1．1平台管理
网络节点硬件资源、实验用户账户和实验网络是管理
的主要对象。通信模块负责平台各部分间的通信。
硬件资源主要指网络节点的中央处理器、内存、存储、
网卡设备及网络带宽等资源。在添加新的物理资源时，
TUNIE将相应信息存入自建数据库，并持续跟踪记录资
源的使用情况，快速回收再利用被其他实验网络释放的物
理资源。
TUNIE通过集成注册管理系统对用户账户进行管理。
注册阶段要求用户提供基本信息与简单的实验说明。网络
实验归入用户账户进行管理，不同网络实验也可归入项E1
工程进行管理和用户权限设置。
中心控制台与物理节点之间的通信基于服务器-客户
端模型，主要负责中心控制台向物理节点的命令发送及物
理节点的执行结果回馈。
3．1．2实验控制
主要实现实验设计和配置，包括镜像创建、协议设计
和网络配置3个方面。
镜像创建允许用户部署自己的操作系统以进行自定
义模块加载或复杂配置。镜像创建后，用户指定TUNIE
使用自定义镜像部署实验网络。开放镜像创建功能，极大
地提升了用户在网络节点配置上的灵活性。
对于常见的路由协议和转发模式，TUNIE将设计简
化为控制平面与数据平面的方案组合——用户从候选集
中选择需要的路由和转发策略，组合成自己的路由器方案
并由TUNIE在虚拟路由器中自动部署，由此平台实现了
对于网络实验部署的快速支持。TUNIE通过镜像创建方
式支持复杂的路由协议和转发设计，以获得最大的灵
活性。
网络配置模块实现实验网络拓扑定制和虚拟节点设
置。TUNIE提供图形化界面与文本文件2种设置接口。图
形化界面操作简单直观，文本文件接IZl便于大规模网络配
置和配置策略的程序优化。虚拟节点的设置同时包括操作
系统镜像和网络协议方案的设置。
3．1_3辅助工具集
辅助工具集包括除以上2类之外所有涉及平台管理和
实验控制的模块，目前主要有网络测量系统和资源映射
算法。
TUNIE基于开源项目Cacti[7集成了独立的测量监控
系统。系统通过不同权限设置同时向管理员和实验用户开
放。平台管理员具有系统所有读写权限。实验用户可以查
看实验网络节点的运行数据统计。测量系统的集成极大地
便利了用户对于实验网络的监控和性能分析。
资源映射算法以独立模块形式集成，通过解耦合的设
计一方面保证平台的运行，另一方面又便于进行算法的研
究和实验算法在平台的测试运行。其他功能模块，如虚拟
机在线迁移、备份系统等，都可以通过类似的集入方式同
时用于平台实践和相关研究。
3．2物理节点层
物理节点层执行中心控制台发送的命令。目前此部分
包括2个功能模块：虚拟节点操作和系统维护。
虚拟节点操作模块在平台中为用户提供针对虚拟机
的控制操作接121，如创建虚拟机、开关虚拟机电源等，以
及设备操作，如存储或网络接I：I的增加删除、虚拟机的整
机迁移等。虚拟节点操作为用户提供了对于虚拟节点灵活
的控制和动态调整。在整个操作流程中，物理节点既作为
命令的执行单元执行特定操作，同时也作为命令的转述单
元将中心控制台的部分操作命令及参数转发到虚拟节点
中执行。TUNIE利用终端套接字方式在物理节点和虚拟
节点之间进行通信。
系统维护模块处理本地资源分配及物理机灾难恢复。
本地资源分配主要目标是避免资源使用冲突，提高资源利
8计算机工程2012年l2月2013
用率，共具体实现依赖于对本地资源动态使用记录表的维
护。TUNIE记录所有针对虚拟机建立和配置的历史操作，
并由独立的进程周期性地查看虚拟机的运行状态。结合两
部分信息，机器意外重启后，可以在没有中心控制台参与
的情况下由物理节点独立恢复之前的运行状态。
3．3虐拟节点层
虚拟节点通过2个模块优化支持系统控制和网络实
验：脚本池和预建立的运行环境。
脚本池有3个功能：网络设置，软件路由器配置文件
生成和网络服务初始化。虚拟机建立后，物理机通过终端
套接字调用特定脚本启动网络服务，建立与中心控制台通
信连接，建立用户账户，创建配置文件并启动虚拟路由器。
TUNIE目前主要为路由和转发创建运行环境。默认
镜像中预置了XORP与Clicko通过集成这2个软件，用
户可以灵活地进行控制平面和数据平面的设计及配置。其
他运行环境可以按照需求加载到默认镜像中。
4实验流程
用户在使用TUNIE之前需注册并通过平台管理员审
核。TUNIE按照项目进行资源分配和不同实验网络的管
理。用户在建立项目的同时提交资源使用申请，在可用资
源范围内可以建立多个实验网络。
项目申请通过后，用户可以开始建立实验网络：创建
镜像，设计路由转发协议，定制网络拓扑，配置虚拟节点。
完成之后，即可启动网络运行实验。整个实验流程概括如
图3所示。用户可以自行决定是否创建镜像。使用默认镜
像，完成配置后，完整实验网的启动可以在min内实现。
圈3使用TUNIE曲实验漉程
5TUNIE性能实测
目前TUNIE原型系统已经部署到分布于3个资源簇
的30台商用计算机中。实际测试结果显示，位于同一资
源簇不同物理节点的虚拟节点之间的链路带宽最高可以
达到837Mb／s。虚拟路由器转发速率在丢包率低于
0．001％的条件下可以达到140Mb／s，直接虚拟链路延时
低于0．3ms。
为验证TUNIE对于网络隔离性的支持，利用平台设
计模拟三网融合实验——同时在部署于相同物理节点的
3个不同拓扑虚拟实验网中运行不同路由协议。实验拓扑
设计如图4所示，不同形状的标签用以区分虚拟节点所依
附的不同物理节点。
互-联网语音1务
圈4三罔融合拓扑鳍构
在第1个虚拟网中，在RIP(RoutingInformation
Protoco1)路由协议支持下运行VolP(VoiceoverInternet
Protoco1)业务。VolP服务器运行在单独的虚拟节点中，采
用开源软件Asterisk[8]实现，客户端节点运行Twinkle并
连接至该虚拟路由器。第2个虚拟网在OSPF(Open
ShortestPathFirst)路由协议的基础上运行视频点播业务，
服务器与客户端均采用VLC【l实现。第3个虚拟网构建
了具有3个独立视频源和6个独立接收客户端的组播网，
三路组播信息同时传输。组播协议采用IGMP(Internet
GroupManagementProtoco1)与PIM-SM(ProtocolInde-
pendentMulticast—SparseMode)的组合方案，VLC用来搭
建组播服务器和客户端。实验中每一路视频源均具有至少
640~360像素分辨率和3O帧每秒帧速率。在3个虚拟网
中，使用XORP构建所有控制平面，利用Click做单播网
络软件的转发数据平面，Linux内核做组播网络的数据平
面转发。如设计预期，3个网络同时正常运行，没有任何
彼此之间的干扰。在模拟意外情形的实验中，单个虚拟节
点强制停止运行，另外2个虚拟网正常运行不受影响；中
断其中一个物理节点，导致3个虚拟网各自有一个节点无
法正常运行，但除与停止运行的路由器直接相连的客户端
或数据源外，其余节点均能正常运行。
(下转第13页)
第38卷第24期王小威，赵一鸣：一种基于任务角色的云计算访问控制模型13
4结束语
云计算下的数据存储目前还存在一些不可忽略的安
全问题，特别是对数据的访问控制问题一直是用户担忧的
重点，这种模糊了网络边界、访问控制由云端服务器控制
的存储方式在一定程度上阻碍了云计算的推广。而基于任
务一角色的访问控制(T-RBAC)能够利用云端服务器，与客
体所有者一起通过任务分配权限的方式，既满足了分布式
访问控制的要求，同时也具有清晰的角色层次管理。本文
比较了目前各种典型访问控制模型的优缺点，分析了
T-RBAC模型对于云计算访问控制的适用性，同时使用
T-RBAC模型构建了一个面向共享安全的访问控制机制，
从数据管理、任务管理、用户管理和授权管理4个方面来
解决云计算访问控制中的安全要求。但是T-RBAC模型也
有它不足的地方，在未来的研究工作中期望能不断改进完
善，而云计算存储除了访问控制之外，还有如信任管理等
问题，同样有待进一步的研究。
参考文献
[1]洪澄，张敏，冯登国．面向云存储的高效动态密文访问控
制方法[J]l通信学报，2011，32(7)：125—132．
[2]ChowR．ControllingDataintheCloud：OutsourcingComputation
WithotROutsourcingControl[C]／／Proc．ofACMWorkshopon
CloudComputingSecurity．NewYork，USA：ACMPress，2009：
85—90．
[3]孙国梓，董宇，李云．基于CP—ABE算法的云存储数据访
问控制【J]_通信学报，2011，32(7)：145．1．52．
[4]陈全，邓倩妮．云计算及其相关技术fJ]．计算机应用，2009，
29(9)：2562—2566．
[5】陈丹伟，黄秀丽，任勋益．云计算及安全分析[JJ．计算机技术
与发展，2O10，20(2)：99—102．
[6]沈海波，洪帆．访问控制模型研究综述[J1．计算机应用研究，
2005，22(6)：9-11．
[7]李孟珂，余祥宣．基于角色的访问控制技术及应用【JJ．计算机
应用研究，2000，17(10)：44-47．
[8]SandhuRS．Role—basedAccessControlModels[J]．Computer，
1996，29(2)：38—47．
[9]9邓集波，洪帆．基于任务的访问控制模型[J]．软件学报，2003．
14(11：76-81．
[10]韩若飞，汪厚祥．基于任务-角色的访问控制模型研究[J]．计算
机工程与设计，2007，28(4)：800—807．
[11]OhS，ParkS．Task—role—basedAccessControlModel[J]．Infor—
marionSystems，2003，28(6)：533-562．
编辑任吉慧
(上接第8页)
6结束语
本文从云计算模型出发，提出了支持网络体系结构和
协议研究的网络创新实验平台设计方案，并给出了其原型
实现系统TUNIE。TUNIE利用云计算平台和虚拟化技术
提供高性能的虚拟网络节点和网络连接，并通过底层的链
路隔离支持拓扑定制与多虚拟网络并行。
TUNIE目前仅是一个初级的原型系统。未来进一步
的开发工作将集中在以下3个方面：更简单便捷的操作，
更高性能的虚拟路由器支持和更稳定的平台运行保障。层
次化和模块化的结构设计使得TUNIE易于部署和进一步
持续开发。今后将扩大TUNIE部署范围，增强其对网络
体系结构创新实验的支持，成为具有广泛认同度的网络体
系结构研究方案验证平台。
参考文献
[1]BavierA，FeamsterN，HuangM，eta1．RealisticandControlled
NetworkExperimentation[J]．ACMSIGCOMMComputerCom—
munieationReview,2006，36(4)：3-14．
[2]TheGENIProjectOffice．AboutGENI[EB／OL]．(2011-12—03)．
http：／／WWW．geni．neff?page
_
id=2．
[3]陈全，邓倩妮．云计算及其关键技术[J】．计算机应用，2009，
29(9)：2562—2567．
[4]Amazoneom，Inc．．AmazonElasticComputingCloud(Amazon
EC2)[EB／OL]．(2011-12—22)．http：／／aws．amazon．com／ec2／．
[5]HandleyM，Hodson0，KohlerE．Xorp：AnOpenPlatformfor
NetworkResearch[J]．ACMSIGCOMMComputerCommunica—
tionReview,2003，33(1)：53—57．
[6]KohlerE，MorrisR，ChenBenjie，eta1．TheClickModular
Router[J]．ACMTransactionsonComputerSystems，2000，18(3)：
263—297．
[7]TheCactiGroup，Inc—WhatisCact?[EB／OL]．(2012—02—23)．
http：／／www．cacti．net／what
_
is
—
cacti．php．
[8]Digium，Inc．．AbouttheAsteriskProject[EB／OL]．(2012—02—10)．
http：llwww．asterisk．org／asterisk．
[9]MicheldeBoer．Twinkle—SIPSofiphoneforLinux[EB／OL]．(2012—
02—03)．http：／／www．twinklephone．eom／．
[10]TheVideoLANOrganization．VLCMediaPlayer[EB／OL]．(2012—
0l一08)．http：／／www．videolan．org／vlc／．
编辑任吉慧
|
|
