分享

网络封包遗失的信息修补艺术(一)

 llko168 2012-05-20
大数法则支配人类许多研究领域,在信息错误回复的研究领域里亦同。只不过此在以往尚可应付有线环境的原则,这几年因为网络环境生态的微妙变化(从有线到无线,从纯文字到多媒体,从桌上计算机到口袋计算机),已慢慢出现捉襟见肘的现象。封包遗失乃IP网络常态,而错误回复的方法亦随着时代演进而有所不同。未来取大数法则而代之的,将是更精致化、更有效率、更省系统资源以及更低的运算复杂度的错误回复方法。    封包遗失与其影响    “网络错误”的发生是IP网络的一种常态,即使现在因网络设备的更新与算法的精进,使得封包错误率已降低许多,但在许多情况(尤其是网络拥塞情况)下,封包的遗失仍在所难免。既然封包遗失在所难免,那封包遗失的严重性自然便不可概括而论。此必须依据其应用型态种类之不同,而存有不同程度的影响力。但大致说来,越接近实时应用(real-timeapplications)型态,其所能容忍的封包遗失率就越低。举例来说,这些实时应用大家耳熟能详者莫过于IP网络电话、IP视频会议、网络视频/语音串流服务…等等。一旦发生网络封包的遗失,要如何对遗失的信息进行补偿是一种错误回复艺术,此艺术依据分类标的之不同,而可分成因果性回复机制与非因果性回复机制;或因作用端使用的差异而分成来源端的错误回复机制、通道的错误回复机制与接收端之错误回复机制…等等分类。前者所谓因果性回复机制,顾名思义,乃在于其遗失信息的补偿部分乃必须依据接收端所接收到之前的信息来加以猜测决定(或信息插补),也就是说,其补偿与之前所接收的信息之间有着因果关系存在。  以一般的视频系统(videosystem)而言,其普遍在接收端存有庞大的缓冲区区块,以处理视频跳格(jitter)问题。故此缓冲区的资料刚好可以提供我们来实作因果性(causal)错误修补算法,以插补所遗失的封包信息。另外一种乃非基于信息因果性关系所为之修补方法,我们一般称为非因果性的处理法(noncausalprocessing,NCP)。因果性处理法与非因果性的处理各有优、缺点,大多数实作乃以因果性方法为主,但其缺点是需要耗费大量系统资源;因此在某些应用领域有学者研究以NCP实作的可能性(例如:无线网络装置)。其实NCP早就曾被用在音讯串流(audiostreaming)的隐藏性的封包遗失问题的处理上,但当时只有很少的尝试将此方法用在视频串流的错误隐藏处理上。这里面一个非常有名的时序错误隐藏策略,就是移动补偿(motion-compensation)的时序置换(temporalreplacement)。其中一个遗失的宏区块(marcoblock,MB)会被之前画面的邻近MBs所评估后之局部移动(localmotion)MB所取代。目前这种利用之前画面MB来作为遗失MB重建依据的方法,已有多种变异版本被提出讨论(可参见.Zang或是S.Tsekeridou等人的研究)。目前利用非因果处理(NCP)作为错误隐藏的处理方法的学者,主要有J.G.Apostolopoulos及Y.C.Lee等人。  在Apostolopoulos的研究里面,受损画面之修复乃依据先前画面与未来所接收画面之相关部分信息所为(非只是依据过去画面决定)。对于多画面错误之隐藏方法,则可参考Lee等人的提议,在修复遗失的MB时,并合计算在未来视频中的目前画面之错误隐藏。不过错误隐藏之方法有很多种,非因果性错误隐藏方法(noncausalerrorconcealment,NCEC)未必一定比基于因果性错误隐藏方法(causalerrorconcealment,CEC)的等价策略要好。只不过非因果之错误隐藏方法,因可以更有效利用系统资源(systemresources),而成为许多人在研究无线装置或无线网络环境时的一个重要研究对象。另一种依据机制使用的场所不同而分成来源端、通道与接收端的错误回复机制。在以往许多情况下,许多讨论往往仅及于来源端与接收端的讨论,而将通道错误部分予以忽略。但事实上,此情况在有线网络环境下是还比较没问题的,如果是在无线网络环境,那信道的错误部分便不能被假设性的忽略。因为我们目前使用的通道是一种有损性封包通道(lossypacketchannel),任何来源端的编码(sourceencoding)都应该去适应通道错误的情形(因为信道噪声是很常见的一种现象)。  对无线视频而言,其错误回复(errorresilience)通常由重新同步校准(resynchronizationmaking)、数据分割(datapartition)与可逆转之可变长度编码(reversiblevariable-lengthcoding,RVLC)所组成。若是对有线模式(例如:有线Internet环境)视频而言,错误的回复通常会被转换成每个封包最佳化编码模式的选择(optimalencodingmodeselection),此乃因为不同预测模式(predictionmodes)会导致不同的编码效能与影响其强固性。因此如果只依靠来源端的适应性编码策略,并无法应付大量不同封包遗失的情况,并且也会造成对频宽瓶颈的评估有失准确。所以除了来源端的适应性编码策略外,往往还会需要配合重传或是前导错误修正(FEC)机制的使用,来做为未来封包遗失的对策才足以适用。    封包传送之速率失真问题    因为现行的TCP/IP网络采用的是一种“尽力做好”的服务机制,所以其并不保证服务的质量得以维护。职是之故,要在Internet上面传送实时视频数据,大多需要二种机制的配合,一种是“拥塞控制(congestioncontrol)机制”,另一种则是“错误控制(errorcontrol)机制”。前者涵盖了速率控制(ratecontrol)、速率适应性编码(rate-adaptiveencoding)以及流速塑型(rateshaping)。而后者(错误控制机制部分)则包含了错误回复(errorresilience)、重传(retransmission)以及错误隐藏(errorconcealment)。  以目前常见的错误控制方法来说,其有三个主要成员,分别是:错误回复(errorresilience)、前导修正(forwarderrorcorrection,FEC)以及错误隐藏(errorconcealment)。由此可见,“拥塞控制”是避免封包遗失的一道重要关卡,对一个大量拥塞的网络而言,为避免封包的继续涌进,路由器常会将进入该网域之封包主动丢弃造成大量封包遗失。因此,针对封包的流量控制常扮演着降低错误发生与维持一定服务质量的关键要角,并常以封包的速率失真率,来作为评估依据。因此研究速率失真(Rate-distortion,R-D)的最佳化,主要是要用来决定每个封包的编码模式(encodingmode)以及信道编码速率(channelcodingrates)。在对付封包遗失的问题上面,传统作法是以重传的方式为主。在传统的重传策略里,其主要为自动重复要求(ARQ)方法。但此方法对于实时视频媒体应用而言,有其捉襟见肘之处。  另外一种错误隐藏方式,则被视为一种译码器端的后处理(post-processing)技术,有关其更详细的讨论,可参见D.Wu、Y.T.Hon及Y.Q.Zhang于2000年所提出关于网络上传送实时视频上的一些争议问题之研究。一般为了方便讨论,一个典型的速率失真(rate-distortion,R-D)最佳化问题,通常只考虑来源端的最佳化模式选择而已,即是在某个速率限制下,最小化每个编码模式封包的量化失真,其形式如式(1)。  本文为全文原貌    大数法则支配人类许多研究领域,在信息错误回复的研究领域里亦同。只不过此在以往尚可应付有线环境的原则,这几年因为网络环境生态的微妙变化(从有线到无线,从纯文字到多媒体,从桌上计算机到口袋计算机),已慢慢出现捉襟见肘的现象。封包遗失乃IP网络常态,而错误回复的方法亦随着时代演进而有所不同。未来取大数法则而代之的,将是更精致化、更有效率、更省系统资源以及更低的运算复杂度的错误回复方法。    封包遗失与其影响    “网络错误”的发生是IP网络的一种常态,即使现在因网络设备的更新与算法的精进,使得封包错误率已降低许多,但在许多情况(尤其是网络拥塞情况)下,封包的遗失仍在所难免。既然封包遗失在所难免,那封包遗失的严重性自然便不可概括而论。此必须依据其应用型态种类之不同,而存有不同程度的影响力。但大致说来,越接近实时应用(real-timeapplications)型态,其所能容忍的封包遗失率就越低。举例来说,这些实时应用大家耳熟能详者莫过于IP网络电话、IP视频会议、网络视频/语音串流服务…等等。一旦发生网络封包的遗失,要如何对遗失的信息进行补偿是一种错误回复艺术,此艺术依据分类标的之不同,而可分成因果性回复机制与非因果性回复机制;或因作用端使用的差异而分成来源端的错误回复机制、通道的错误回复机制与接收端之错误回复机制…等等分类。前者所谓因果性回复机制,顾名思义,乃在于其遗失信息的补偿部分乃必须依据接收端所接收到之前的信息来加以猜测决定(或信息插补),也就是说,其补偿与之前所接收的信息之间有着因果关系存在。  以一般的视频系统(videosystem)而言,其普遍在接收端存有庞大的缓冲区区块,毕业论文网 以处理视频跳格(jitter)问题。故此缓冲区的资料刚好可以提供我们来实作因果性(causal)错误修补算法,以插补所遗失的封包信息。另外一种乃非基于信息因果性关系所为之修补方法,我们一般称为非因果性的处理法(noncausalprocessing,NCP)。因果性处理法与非因果性的处理各有优、缺点,大多数实作乃以因果性方法为主,但其缺点是需要耗费大量系统资源;因此在某些应用领域有学者研究以NCP实作的可能性(例如:无线网络装置)。其实NCP早就曾被用在音讯串流(audiostreaming)的隐藏性的封包遗失问题的处理上,但当时只有很少的尝试将此方法用在视频串流的错误隐藏处理上。这里面一个非常有名的时序错误隐藏策略,就是移动补偿(motion-compensation)的时序置换(temporalreplacement)。其中一个遗失的宏区块(marcoblock,MB)会被之前画面的邻近MBs所评估后之局部移动(localmotion)MB所取代。目前这种利用之前画面MB来作为遗失MB重建依据的方法,已有多种变异版本被提出讨论(可参见.Zang或是S.Tsekeridou等人的研究)。目前利用非因果处理(NCP)作为错误隐藏的处理方法的学者,主要有J.G.Apostolopoulos及Y.C.Lee等人。  在Apostolopoulos的研究里面,受损画面之修复乃依据先前画面与未来所接收画面之相关部分信息所为(非只是依据过去画面决定)。对于多画面错误之隐藏方法,则可参考Lee等人的提议,在修复遗失的MB时,并合计算在未来视频中的目前画面之错误隐藏。不过错误隐藏之方法有很多种,非因果性错误隐藏方法(noncausalerrorconcealment,NCEC)未必一定比基于因果性错误隐藏方法(causalerrorconcealment,CEC)的等价策略要好。只不过非因果之错误隐藏方法,因可以更有效利用系统资源(systemresources),而成为许多人在研究无线装置或无线网络环境时的一个重要研究对象。另一种依据机制使用的场所不同而分成来源端、通道与接收端的错误回复机制。在以往许多情况下,许多讨论往往仅及于来源端与接收端的讨论,而将通道错误部分予以忽略。但事实上,此情况在有线网络环境下是还比较没问题的,如果是在无线网络环境,那信道的错误部分便不能被假设性的忽略。因为我们目前使用的通道是一种有损性封包通道(lossypacketchannel),任何来源端的编码(sourceencoding)都应该去适应通道错误的情形(因为信道噪声是很常见的一种现象)。  对无线视频而言,其错误回复(errorresilience)通常由重新同步校准(resynchronizationmaking)、数据分割(datapartition)与可逆转之可变长度编码(reversiblevariable-lengthcoding,RVLC)所组成。若是对有线模式(例如:有线Internet环境)视频而言,错误的回复通常会被转换成每个封包最佳化编码模式的选择(optimalencodingmodeselection),此乃因为不同预测模式(predictionmodes)会导致不同的编码效能与影响其强固性。因此如果只依靠来源端的适应性编码策略,并无法应付大量不同封包遗失的情况,并且也会造成对频宽瓶颈的评估有失准确。所以除了来源端的适应性编码策略外,往往还会需要配合重传或是前导错误修正(FEC)机制的使用,来做为未来封包遗失的对策才足以适用。    封包传送之速率失真问题    因为现行的TCP/IP网络采用的是一种“尽力做好”的服务机制,所以其并不保证服务的质量得以维护。职是之故,要在Internet上面传送实时视频数据,大多需要二种机制的配合,一种是“拥塞控制(congestioncontrol)机制”,另一种则是“错误控制(errorcontrol)机制”。前者涵盖了速率控制(ratecontrol)、速率适应性编码(rate-adaptiveencoding)以及流速塑型(rateshaping)。而后者(错误控制机制部分)则包含了错误回复(errorresilience)、重传(retransmission)以及错误隐藏(errorconcealment)。  以目前常见的错误控制方法来说,其有三个主要成员,分别是:错误回复(errorresilience)、前导修正(forwarderrorcorrection,FEC)以及错误隐藏(errorconcealment)。由此可见,“拥塞控制”是避免封包遗失的一道重要关卡,对一个大量拥塞的网络而言,为避免封包的继续涌进,路由器常会将进入该网域之封包主动丢弃造成大量封包遗失。因此,针对封包的流量控制常扮演着降低错误发生与维持一定服务质量的关键要角,并常以封包的速率失真率,来作为评估依据。因此研究速率失真(Rate-distortion,R-D)的最佳化,主要是要用来决定每个封包的编码模式(encodingmode)以及信道编码速率(channelcodingrates)。在对付封包遗失的问题上面,传统作法是以重传的方式为主。在传统的重传策略里,其主要为自动重复要求(ARQ)方法。但此方法对于实时视频媒体应用而言,有其捉襟见肘之处。  另外一种错误隐藏方式,则被视为一种译码器端的后处理(post-processing)技术,有关其更详细的讨论,可参见D.Wu、Y.T.Hon及Y.Q.Zhang于2000年所提出关于网络上传送实时视频上的一些争议问题之研究。一般为了方便讨论,一个典型的速率失真(rate-distortion,R-D)最佳化问题,通常只考虑来源端的最佳化模式选择而已,即是在某个速率限制下,最小化每个编码模式封包的量化失真,其形式如式(1)。  

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多