万方数据
分布式缓存技术殛其在物联网中的应用
图1Amazon分布式缓存业务架构
供高效的汁算能力海砬的存储能
力，为泛在链接的物联网提供阿络引
擎和支撑，
狂彳联阿应用刚起步时，符种平
台太多采州的是关系碰数据库那
时PC机昂贵，性能低下计儿网络小
普炷，而关系喂数据库尚为处理能力
强、数据安全uf稚、敛性好等优势．
一直处于丰导地位，井发挥r重要的
作用。随着互联网的发展，特别是
WEB2．0等交q式、个性化成JH的出
现，数据鼠急剧增JJⅡ，传统的盖系型
数据库已经无法满足这种快速增长
的存储需求为此不少¨服务提供
商都世汁开发丁FlL的存储系统．如
亚码逊在2(}07年10月份"发小的
Dynamo就是其中非常典型的一种仵
储系统(如图I所爪)，作为状态管理
皇Ii什和存储服务的基础被用十血多
的咂马逊的系统中“
对j’c…91．Amazun．淘宜这样的
u联网企、№，缚u『饵到都存咒敏们Ⅲ
一fI：使朋Ef¨提供的’f_联网服务遮
衅服务带束的垃大时的数据靠吐艟．
n二州一时Hl仆艇的会秆成rI万的
畦接埘数挣；库进行操作仵谜种情
况下．单台服务器或者几台服务器远
远不能满足这些数据的处理需求，单
靠提升服务器性也已经改变不了浚
情况．所以唯一可以采用的办法就是
扩展服务器的规模．．服务器规模扩
展通常有两种方法：一种是仍然采用
关系型数据库．然后通过时数据库的
垂直和水平切割将整个数据库部署
到一个集群-，这种^法的优点在丁
可以采用彗十咒系型数据库(RDBMS)
的挫术，f}1缺点在于它是针时特定庙
朋，实施非常剐难：另外刺t方法就
是Google和Amazon所采用的方法，抛
卉冀系型数据库．采用‰vvJuc形
式的存储．这样可以极人地增强系统
的I，f扩展性事实I-．摹f
KeyValue的分布式缓存就是ftl于
‰r’Elf-的BigTahhJ|，Aragon的Dynamo
以及Faf曲诎的Cassandra等相关沧
文的发表而慢慢进人人们的视野，这
些H联网恒n分市式缓存上的成
功实践也使之成为r云1l-锋的核心
技术”。
缓仃服靠器集群采¨{尤t架构
圈墨蹈可38，zome月”8nMⅫ201一m·
所有服务嚣竹点地位究全一致，互利
之间采用阿状的垒连接方式，应川
通过调用分布式缓存提供的AP[zf
数据进行透明访问．无需关心敷蔷《在
后端服务节点的分布情况数据在
集群各节点均匀分柑，集群数据立c理
能力随集群中节点数量的扩亢早线
性增长。集群通过数据的多副本机
制能够提高系统的可用性，某几台服
务节点的宕机对应用的数据访川没
有任何影响。服务器节点能够根据
应用的需求灵活配置数据是古持久
化存储。
分布式缓存例时提供操作控制
台，能够登录到任何一个服务节点井
对集群的成员关系访问负荷数姑
分市进行监控和配置．同时通过操作
维护台可以完成分布式缓存集群软
件版本的安装、升级和配置。H莳分
布式缓存提供基于命令行(telnet髓
录)和罄于B／S的图形化运缝方式
分相式缓存系统的具体部署如图2
所示。
分布式缓存为应用程序提供了
客户端程序库“及若I数据服务
点组成的服务集群，客户端通过和数
姑服务节点通信形成可HJ服务器列
表，井将应用程序提交的存取请求通
过路由算法映射到一个确定的数据
服务节点上，且休的功能架构如罔3
中所示．
数据服务廿点主要分成3个憎
次：通信支撑膳、数据处理屡和数槲
存取垃
·通情支撑雎主要砸责通信怫
议适配，根据数据处殚崖一}|路巾链f!；}
管理模蚨的指示进{j端¨的愤Ⅲ：阳
t动建链同时完成底从通信数槲乜
的拉送和接收
·数据处理层包括路I“链路锻
Ho性块访问拄制处理模蚨“灶数州
迁移控制模堍
·数据存储层提供内存H_1)，艇
艇介质的．级仃储管理．儿体r】『¨性
万方数据
ZTE
云计算分布式缓存技术及其在物联网中的应
圉2分布式缓存部署圈
据应用的要求进行不同的配置。内
存管理关注山存分配的效率以灶如
何避免内存碎片的形成，并根据数据
访问频度进行最近最少使用算法
ILRU)控制。SSD和硬盘存储模式在
保证访问性能的同时提供数据的持
久化存储．在这两种存储模式下数据
水会随若服务竹点重新麂动而丢
失．数据存储层提供数据生存期管
理机制．能够自动清理过期数据。
L。jr_。_．。，。
分布式缓存在保证数据访问¨f
靠性，最终一致性的同时对应用提供
高存吐、低时延的访『uJ服务．湎过增
由¨数据服务节点即能实现处理能力
的性能护充，扩容过程对应用防M完
全透叫。下面对分布式缓仃涉驶的
置健技术进行介绍。
仆布式缓存通过多副本机制寅
现牧批访问的可靠性．旧时多个剐本
之ljJn勺数据同步义会带来性能和一
敛¨{的词题我们采用NRW多副本
技术米像证数据在叮稚性、离悱能沂
川}』段最终一致性之IhJ取得平衡，
图4是NRW机制的示意幽，其中
Ⅳ是一个数据的副本数．月代表一次
成功的读取操作中最小参与节点数
量，Ⅳ代表一次成功的写操作巾蛀小
参与节点数毋。当分柑式缓存的访
问模型满足mW>Nfl．f就能保汪数据
访问的町靠性和致性。
R和∥直接影响性能、可用性和
一致性。如果Ⅳ设置为1．则分市
式缓存集群中只要有一个节点可用，
就不会影响写操作；如果R设置为
I，则分布式缓存集群中只要有一个
节点可用．就不会影响读请求。但显
而易见月和矿值过小都会时影响数
据访问的性能和可用性，为兼顾性
能、可用性和一致性，这两个值一定
要合理设置。
232敏悄Hash和虚H^
一致性H越b需要首先求出分布
式缓存数据服务器(节点)的哈希值，
并将其配置到0～232的圆上，用同
样的方法求出存储数据的键的哈希
值，井映射到圆上。然后从数据映射
到的位噩开始顺时针查找，将效据保
存到找到的第一个服务器上。如果
超过232仍然找不到服务器．就台{!ll
存到第一台缓存数据服务器}。
凼为数据节电服务器的机型并
不统一，其性能和容量是不问的．可
以使一个物理节点负责多个HhK
问的处理，使高端机器能够被充分利
用。在出现热隧时，可以将过热的
linch区问以虚_I￡【节点的斤式放在负
荷较低的物理节点k
分布式缓存平台结合了豉性
Hash和虚拟节点的特点并加以改进，
圄3分布式缓存功能桨构
面面再而ii—；-4ei素i；五百、39飞露曰墨I墨万方数据
LZTETECHNOLOGVJOURNAL，、l垦团l云计算分布式缓存技术殛其在物联网中的应用
圄4NRW机制示意图
形成r如罔5的方案：将232的Hash
空间等分为若干分片．每十分片即是
一个虚竹点，根据各物理节点性能差
异配置处理不同数齄的虚节点．这些
虚甘点在物理节点卜的部署关系即
形成虚节点的蹄由。
通过一致性llmsh和虚节点相结
台的方式．实现r数据在集群的均匀
分布．嗣时也实现r数据服务器常点
热瓿的消除
路由是{j千分布式缓存集群中虚
廿点在数据舭眷节点上的分柑晴
况。分布式缓存平台构建了一个分
n，式锁同步系统米仃放全局路南表
这张路山表是分佰缓存集群路山管
理的毖准表，路南坐更时必须要前先
修改这张路由表中对应的路山记采
为避免每次路由存找揶需要蠢
瑚分市式锁服务．粹数据服务节点在
本地川时存储仝局路由表．路由古找
时c4直接稚本地进{r这样带来的
一个问越是本地路由记采町能已经
过期．因此n蹄m记录巾增加修改时
刊龇米进行路由记采版本的控制，举
例【兑叫：
…I笫10号雕竹点的路由信息
是：存^：3个副本，依次存艘n：服务
岢点A、B、Cr饿条路由信息☆：集
群巾所有节电车地都订存储
(2)A节点发隹战障宕机．在A宕
机期间，操作员对10号虚节点的蹄
由记录进行r手T：渊恪：仍然是3个
副本．依次存放在服务器前点A、D，
c上，集群中除A竹点外都完成r水
地路由记录的更新，
f3l此后A恢复r眼舟，A节点奉
地10号虚节点的路“¨d录成为一个
过期的记求．当A节点收到落在10
号虚节点上的数据读写漪求时，就会
对B．c节点的副水进行访问，访问时
会带上本地lO号路南记录的时州
戳，13、c竹点收到访问请求后台市即
通知A蹄南信息已经过期，通过这样
的路山变换机制．A快速地完成丁本
地路}Il记录更新
【．述例子中路山交换是通垃数
姑沂同请求被动触发，侧时集群中每
个节点的路由骨理模块乜台定时启
口墨蚕囝可40，201-；晶—幕_7i亩i
图5
分布式缓存的Hash
分片
动路由变换+通过这种类似痫博传染
式的智能路由交换，蹄由变更能往集
群所有节点中快速生效。客J、端API
的路由记录也采用同样的方式：窨p
端API本地缓存路由信息表，在数据
访问的同时完成和服务节点的路由
空换，大大提高了路山查找的效率
降低r数据访问的时延。
l：tI’|
分布式缓存将节点分成两类种
于节点和普通节点。
种子前点是系统配置时，需要预
先从所有节点中选出若下个节点．它
们的职竟是指挥系统的链路建立和
拆除等
普通节点稿动后．根据配置向种
子节点E曲建链，种子节点对连接l
的营通节点进行统管理．根据一定
的麒则比如按照lP数值的太小，通知
普通廿电完成互丰盯之削的建链．种r
节点札相之问也根据这个原则完成
埘州之削的连接。图6描述集群成
员关系建市的过程。
(1)升m式缓存!g前存甘点l2
3、5共4个节点，柑H之川两两存计
链路，竹点I2足种子竹点，常点¨
35是普通节点
(2)占通廿点4新加^缓存集群，
它首先根据配置t动连接种子竹点J
和竹点2
(3)种子节点1发现鼍前盯普通
节点0、3、5和它建立r链路．当普通
节点4连接成功后．E桃据节点大小
固
万方数据
原则指挥节点4连接普通节点0和
3，同时指挥原有普通节点5连接节
点4。
分布式缓存通过上述机制维护
集群中节点的成员关系，最终在各节
点间形成网状的全连接模型，两两之
间具备通信链路，任何节点故障和恢
复都能够快速被集群中其他节点检
测到。
3分布式缓存助力物联网
平台云化
3．1分布式缓存的优势和解决的问题
分布式缓存具有明显的技术优
势。分布式的架构从架构上保证了
良好的扩展性，当性能不够时，可以
轻松地通过添加新节点的方法扩展
性能；因为良好的扩展性，所以分布
式缓存的容量可以随着节点规模的
增大而呈线性增加，容量不会成为系
统的瓶颈；分布式缓存采用的是基于
Key—Value的简单存储方式，缓存的
架构和以内存为基础的访问方式使
得分布式缓存性能非常高，单节点每
秒可以达到24万多次的读写操作；
分布式缓存所使用的多份副本复制
的方法，避免单点故障；同时无中心
化的架构和一致性Hash的数据分布
算法，使得局部节点的损坏不会影响
整体集群的可用性，把故障的影响降
到最低。
目前的应用在部署运行过程中
常会遇到一些问题：第一，单节点不
能满足性能要求时，需要扩展到多个
节点，通常采用按号段的方式进行扩
展，此种扩展方式不具有通用性，与
各个应用密切相关，开发和维护的成
本也较高；第二，在不同的物理节点
的应用上共享数据，通常通过文件的
方式或同步的方式进行共享，但是这
在性能和一致性的处理上存在较大
的风险和困难；第三，因为多个节点
同时访问数据库，使得数据库和磁盘
I／O成为系统的瓶颈，通常使用单节
点的缓存方式来解决，这样一方面会
ZTE
云计算分布式缓存技术及其在物联网中的应
▲图6分布缓存集群成员关系
造成系统资源的浪费，另一方面也使
各个节点中缓存一致性的处理也非
常复杂；第四，应用节点的应用程序
意外退出重启动后，如何保证已有的
会话不掉线，往往通过写文件的方法
实现，这时磁盘I／O以及系统初次的
加载都存在性能瓶颈。把分布式缓
存引进应用后，可以方便地帮助应用
解决这些问题。应用通过调用分布
式缓存提供的API接口，把关键的数
据放到分布式缓存中，而自身重点关
注应用逻辑的处理，这样可以轻松打
造出高性能的、可扩展的、高可靠的
分布式应用系统，通过标准接口的封
装，对外提供云服务。
3．2分布式缓存在物联网中的应用
物联网的出现是信息通信技术
(Icn的新挑战。物联网无所不在，它
可以使所有的物体，从洗衣机到冰
箱、从房屋到汽车通过物联网进行信
息交换。物联网技术融入了射频识
别(RFID)技术、传感器技术、纳米技
术、智能技术与嵌入技术。物联网技
术将是改变人们生活和工作方式的
重要技术。物联网主要包括3个层
次，如图7中所示。第1个层次是传
感器网络，也就是目前所说的包括
RFID、条形码、传感器等设备在内的
传感网，主要用于信息的识别和采
集；第2个层次是信息传输网络，主
要用于远距离无缝传输来自传感网
所采集的巨量数据信息；第3个层次
是信息应用网络，该网络主要通过数
据处理及解决方案来提供人们所需
要的信息服务。
物联网业务网关属于第3个层
次，如图8所示。它是实现物联网应
用和物联网终端智能连接的桥梁，能
够提供接入认证、智能路由、业务计
费、能力接入、服务质量(QoS)服务保
障等核心功能。支持通用分组无线
业务(GPRS)、短信、有线接入等多种
网络接入方式。物联网业务网关汇
聚所有的机器到机器(M2M)终端消
息，除了支持标准协议终端的消息处
理外，对非标准协议终端也提供IP层
路由转发和业务鉴权功能。因此对
业务网关相关的性能提出了极高的
要求。
中兴通讯物联网业务网关采用
多模块架构，通过引入云计算分布式
缓存平台，使其具有极高的吞吐率，
保证了网关的高并发处理能力，系统
在两个刀片机框满配置的情况下，可
达到18万条／秒的报文转发速率。分
画面再丽瓦玎丽面再而丽41飞墨圈万方数据
分布式缓存技术及其在物联网中的应用
图7物联网层次结构
b翩魄瑚黼．一{呼茹荀釜日
FFF固圈固j高函毒。蔗
7Ⅻ机+盛#％机gmn∞ngⅫm
：布ig々：女作维护衄镕女#※‰：Ⅱ务H镕g
图8物联网业务网美
布式缓存的血刷．使系统支持数据动
态i王移，在个别甘点故障吓全造成事
务的巾断
一。，。，
物联网与云计茸存在荷密I=『i=町
分的关系一方面．物联网的发展离
小”云计算的主撑：帆世l。肴．物联
网将使斤J数越醵人的f々感器f如数“
亿万汁的RFID，智能尘埃和税额监
控等)，采集到的数据世惊凡这此
致擀需要通主=上尤线传甚阿、宽带t联
阿m某衅存储和处理醴施虻聚，而使
甩d“掉分m式缓存等系列技术米
匠载选衅{E务具有非常辑著的性价
比优势；从质上行，使用ii{算系列
技术对这此数据进fj处理升析挖
捌．町“蜓自Il世速．准确坩能地对物
窿匿E躅萝42五忑ii"#％一MAug．20llvdl7NO．4
理ln界进{i管理和控制，使人燮”f以
更JJⅡ及时精细地管_哩物匝I}界从
而逃到“钾慧”的状态，^幅提高资源
利片{率和祉全牛产力水平”，nf“再
出，zi计算托借其强大的处删能，J，
仃储能力和极岛的性能价饼比．报自
然就会成为物联网的后白土撑、F
台粥一打衙．随着物联网针对钾徙
变通、钾能隈疗、智能电同等领域斛
陕方案的落地，物联网将成为五计算
蛙大的用户为云汁算系列技术取褂
型大商、lk成功奠定基石．
{1liU鹛i”§【MJlc§自}IⅡ＆№≈2010
12J％％!∞＆∞B目∞P±5月lJr#n
＆目2010(12】’3
13】DECANDIAGHASTORUNDJAMPANIMel
aIDv…0Am3zon’sHighlyAvallable
Key—VBIue$IorelCI／／Pr。ceedingsoflhe21．n
ACMSIGOPSSvml)osium0nOperatJng
SvstemsPrinciples(SOSP’07)O卅1417
2007WashingtonDCUSANewYorkNY
USAACM2007206—220
14JCHANGFDEANJGHEMAwA-Setal
Ba口bjeA[istribuledSco…Syslemfor
StructufedDa∞ICI／／ProceedingsofIhe20¨’
ACM$1GOPSSymposiumonOperaling
SystemsPrinciplesfSOSP’05)O…2326
2005BrightonUKNewYorkNYUSA
ACM2005：205—218
【5lLAKSHMANAMAUKPcassandraA
Decentralize0StrucluredStorageSystem[J】
S1GOPs00erarln口SystemsReview201044
f21=3540
㈣S嘲＆∞※Ⅻ自Ⅱ月j“E＆目Ⅱ…∞＆口Bt
^￥々H旧#}4{Ⅲ)201022{5)j526—531
￥e研￡总I，自自讯＆
$}g委员舍《员，％6M
$目婀和gⅢn务∞m&
设”I．目目±}从$i
肢Ⅱ务$自、IMSⅡ务。
■壤Ⅱ．十A∞讯w务女R
R副院K、n目＆${gi
员鲁业务组组K．￡月M$
§换帆目目能目％R拦、曲
为SDP、F2P、Ⅱ务目。￥、3G
“务目Icr％．彗；m日i
n$Ⅲ口§＆&§∞＆^
目．＆&a$月∞ⅡgC_。壁^～．泌
万方数据
云计算分布式缓存技术及其在物联网中的应用
作者：高洪，董振江，GAOHong，DONGZhenjiang
作者单位：中兴通讯股份有限公司业务研究院,江苏,南京,210012
刊名：中兴通讯技术
英文刊名：ZTECOMMUNICATIONS
年，卷(期)：2011,17(4)
被引用次数：1次
参考文献(6条)
1.刘鹏云计算2010
2.陈明;王锁柱物联网的产生与发展[期刊论文]-计算机教育2010(12)
3.DECANDIAG;HASTORUND;JAMPANIMDynamo:Amazon''sHighlyAvailableKey-ValueStore[Cl2007
4.CHANGF;DEANJ;GHEMAWATSBigtable:ADistributedStorageSystemforStructuredData[C)2005
5.LAKSHMANA;MALIKPCassandra:ADecentralizedStructuredStorageSystem[外文期刊]2010(02)
6.邬贺铨物联网的应用与挑战综述[期刊论文]-重庆邮电大学学报（自然科学版）2010(05)
本文读者也读过(2条)
1.吴卫峰云计算与物联网结合在福州大学应用探析[期刊论文]-福建电脑2011,27(10)
2.王艺.WangYi云计算在物联网中的应用模式浅析[期刊论文]-电信科学2011,27(12)
引证文献(2条)
1.郭唐宝.张延园.林奕一种面向应用服务器的分布式缓存机制[期刊论文]-科学技术与工程2011(36)
2.罗鉴.宋晓丽无损以太网关键技术研究[期刊论文]-中兴通讯技术2012(4)
本文链接：http://d.g.wanfangdata.com.cn/Periodical_zxtxjs201104010.aspx
|
|
