|
中国论文网 http://www./8/view-3069439.htm 摘要：随着信息化脚步的不断加快，网络技术与多媒体技术的不断发展，使人们对时态的要求越来越高，这就对音视频信号传输技术提出了更高的要求。本文主要介绍了音频系统同步技术的概念及存在的问题，并提出了MPEG音视频同步压缩方法。 关键词：音视频信号；同步技术 中图分类号：TN919.8文献标识码：A文章编号：1007-9599 (2012) 06-0000-02 进入21世纪以后，计算机网络技术以及宽带通信技术得到了飞速发展，同时它也为多媒体通信技术的发展奠定了基础。就目前而言，多媒体在不同领域都得到了广泛的应用，例如视频会议、远程教学、视频电话以及远程低码率媒体协同工作等等。而媒体间的同步技术就是支持这些多媒体能够正常应用的一个关键技术。如果要实现音频和视频的同步，就需要使音视频信号的同步采集、压缩、传输以及同步播放等问题得到很好地需要解决，而解决这些问题的最终目的就是实现客户端的图像和声音的同步播放。 一、音视频系统中的同步技术的概念 对于音视频系统的同步技术，是指具有两种或者两种以上的多媒体事件按照一定的时间顺序关系进行播放，同时也可以用来实现多个媒体事件在时间域中的播放机制或过程的协调工作。采用同步技术可以控制并协调两种或者两种以上的媒体事件，在其同步播放的过程中其内在本质或由指定所决定的进展和联系。 我们如果按照时间关系来对同步进行划分的话，可将同步划分为三类：媒体流之间的同步、媒体流内的同步以及媒体对象之间的同步。这三类同步是组成多媒体同步的三个主要层次，并且媒体流内的同步是在同一个时间相关媒体流内而进行的。我们可以发现，由于文字、图像等与时间无关的媒体，并不存在这种所谓的同步问题。 二、应用音视频信号同步技术的重要性 目前，由于许多时间相关性数据类型被引入多媒体系统，在建立过程中这些多媒体数据的时间相关性往往被隐含，特别是对于活动视频的图像序列，很多情况下都是由用户自己定义的。在多媒体系统中就必须体现时间相关性必须体现，此外由于存储、通信和计算会导致系统延迟，在数据演示过程中也是必须克服的。对于以上的这些特定要求，都迫使我们引进先进的同步技术来加以解决。 三、MPEG音视频同步压缩方法 （一）MPEG的标准 目前，MPEG标准主要可分为五个，分别为MPEG-1、MPEG-2、MPEG-4、MPEG-7以及MPEG-21等。我们常常说的MPEG标准的视频压缩编码技术，它是利用了具有运动补偿功能的帧间压缩编码技术，从而达到了减小时间冗余度的目的；并且也利用了DCT技术，实现减小图像空间冗余度的目的；还利用了熵编码，这就使其在信息表示方面实现减小统计冗余度的目的。这些技术的运用，使其压缩性能得到很大增强。 （二）MPEG-4的优点 （1）MPEG-4的优点在于它可以在低带宽等条件设计算法，这样就使得MPEG4的压缩比更高，从而就达到了低码率的视频传输的效果。并且它可以使用公用电话线来进行连续传输视频，图像的质量也是可以保证的，这一点是其它技术做不到的。 （2）可以很大程度上节省存储空间。如果在同样的条件下，经过编码处理的图像文件就会越小，相对而言所占用的存储空间也就越小。和MPEG-1、MPEG-2相比MPEG-4算法更加优化，因而它的压缩效率更高。 （3）所传送的图像质量好。由于MPEG4的最高图像清晰度为768X576，基本上达到DVD的画面效果。此外，相对于其它的压缩技术来说，MPEG4算法上的不具有局限性，它可以保证画面中出现快速运动的人或者物体等的图像质量不会下降，从而使画面清晰度得到保证。 四、关于MPEG-4音视频的同步方案的设计与实现 （一）对音视频的同步系统的硬件进行设计 对于系统硬件的设计，该系统在pSOS实时嵌入式操作系统下运行，所用的开发语言是C语言。能够选择使用的软件包有以下几种：IADK和NDK集成应用开发包以及DVE-2开发板自带的板支持包BSP。对于DVE-2板来说，它集成了音视频采集模块等部件，并且可以把音视频信号储存在闪存里，或者可以通过以太网、PCI、RS232或者JTAG接口来对外传输，它的设计是为了满足当前数字音视频以及网络传输为核心的DSP发展需要。目前DVE-2的应用范围很广，它包括了MPEG／JPEG视频／图像的压缩、解压以及视频电话与视频会议等等。 （二）制订MPEG-4基本码流的同步方案 同步层打包，是指流在同步层中的一个基本码流被映射成一个带有时间标记的数据包序列，它是将基本的流数据进行整理在一起后，把其变成访问单元AU或者访问单元的一部分，每路同步层对应相应的一路基本流。基本码流接口就是很好地对打包信息的抽象接口进行描述，而打包信息用来在产生基本码流的实体和同步层之间的交换信息的。 我们所说的同步层打包流，是通过一种传输机制被传输的，而且该传输机制并不是在MPEG-4的标准范围之内，它仅仅只在DMIF应用接口(DAI)中被描述，而DAI可以对同步层和传输机制间对指定的信息进行交换，该种传输机制就是同步层产生的数据包的组帧。 对于SL数据包，它是这样的数据包，即同步层指定基本码流数据进行打包，然后打包成访问单元或者是把它当成访问单元的一部分的语法。对于一个音频流，一般情况下一个访问单元只对应一个音频帧；同样，对于一个视频流，一般情况下一个访问单元也只对应一个视频帧。而对于AU单元，它们的内容由于不透明性，这就意味着同步层对基本码流数据的打包是以AU单元为单位进行的，并且它是同步层中唯一需要在端到端保护的语义数据。一个SL的数据包，它是由一个数据包和一个包头有效载荷组合而成。对于包头来说，它是可以防止数据丢失的连续性提供检验的方法，并且携带有表示时间戳和相关信息的编码。对于该数据包并不包含长度信息，而长度信息会留给传输协议层加入，因为它需要采用合适的低层协议来进行组帧，不然就是不可以对其进行存储和解码的。 （三）对音视频的同步系统模块进行设计 对于模拟音频信号来说，它是通过使用音频编解码芯片来实现数字音频信号的转换，然后把转换好的信号输入PNXl300，对其进行G.722语音信号的编码。该系统并不需要在板子上同时实现编解码，而只是需要将输入的模拟音频信号通过A／D转换之后，然后把转换好的信号输入PNXl300芯片内编码成G.722的SB.ADPCM码流，该码流加上同步层的包头，就可以形成SL音频包，从而就可以实现和视频的同步。 对视频数据的采集，它是通过一个视频输入定时中断函数VI来实现的。通常我们把视频数据都储存在可以进行高速读写的SDRAM中，这样就可以大幅度地提升系统的实时响应速度，这样也就使其特别适用于实时应用的同步环境。同时，对所采集的数据要经过亚采样，这样就使得采集的数据从Yuv4：2：2格式转换成为YUV4：2：0格式，最后被转换的数据就被送到编码器进行编码。 （四）MPEG-4的音视频同步的实现 为了能够得到想要的流畅的语音以及视频信息，我们首先就应该考虑对多媒体的同步问题进行解决。在一般情况下可以把一个流媒体视频系统划分为五个主要的部分：媒体进行数据的采集、编码的压缩、网络的传输、解码以及媒体表现。为了使音视频同步达到预定的效果，就需要对各个部分采取相应的策略。 作为处在接收端的音频信号与视频信号的同步而言。就需要在收到音频、视频数据之后，把音频、视频数据分别放到语音播放缓冲区和视频播放缓冲区中，并且要定时从音频缓冲区中提取音频数据来进行播放，在视频播放的过程中，如果发现所取出的音频时间戳和视频的时间戳相当的吻合，在这种情况下就可以同时播放相应视频。由于每个人的听觉相对较视觉而言敏感，因此在固定频率声音播放时，如果出现暂时的停顿或者速率忽高忽低都使人难以接受。可知，在对于音视频进行同步处理时，音频数据就应该起到主导的作用，而视频数据就必须以音频作为参考。 五、经验总结 总而言之，随着信息化脚步的不断加快，人们对音频视频信号同步的要求也越来越强烈。而如果想实现音频和视频的同步，就需要使音视频信号的同步采集、压缩、传输以及同步播放这五个主要的部分上下工夫，来解决音视频不同步的问题。 参考文献： [1]仪雄,余松煜,庄建敏.MPEG-2传输流中的时间信息与音视频同步[J].红外与激光工程,2000 [2]郑庆华.分布式多媒体同步中表现质量的参数计算[J].通讯学报,1999 [3]常义林,杨付正.H.323同步控制实现研究[J].通信学报,2004 [4]齐丽凤,陈贺新,赵岩.一种新的音视频信号同步编码算法[J].仪器仪表学报,2007 [5]张明,张正兰.分布式多媒体系统的关键问题探讨与研究[J].小型微型计算机系统,2001 |
|
|
