|
About DirectShow （4）
6 Time and Clocks in DirectShow
6.1 Reference Clocks
参考时钟是Filter
Graph Manager用来同步所有Filter的。任何一个暴露了IReferenceClock
接口的对象都可以作为参考时钟。参考时钟可以是Filter提供，例如声卡就可以提供一个硬件的时钟。作为应变，Filter Graph
Manager也可采用系统的时间。名义上，参考时钟的精确度在100纳秒，但实际上，没有那么精确。调用
IReferenceClock::GetTime可以获取时钟的当前时间。时间的基准是开始计时的时间，根据实现的不同，GetTime的返回值不是绝
对的。关键的是从时间开始的变化量。
尽管时钟的精确性还有所变动，但是GetTime方法返回的保证时间是增加的。也就是说，时钟不会倒退回去，比如，对硬件时钟进行了调整，GetTime方法就返回上次的时间，直到硬件时钟赶上。更多信息可参考CBaseReferenceClock类。
6.1.1 Default Reference Clock
当Graph运行的时候，Filter Graph Manager会自动选择一个参考时钟的，选择的法则如下
1、如果应用程序选择了时钟，就采用应用程序选择的时钟
2、如果Graph包含活动的源Filter，并且有IReferenceClock接口，那么就用这个时钟。
3、如果Graph没有活动的源Filter，就用Graph中任何有IReferenceClock接口的Filter，选择的方法是从Renderers逆流向上，连接的Filter优先，没有连接的Filter次之。
4、如果没有任何Filter符合条件，就采用系统参考时钟System Reference Clock
6.1.2 Setting the Reference Clock
应用程序可以调用Filter Graph Manager的接口IMediaFilter的SetSyncSource方法来设置新的参考时钟。只有因为特殊原因需要设置其他时钟时才调用此函数。
如
果你给SetSyncSource传递的参数为NULL，Graph不设置任何参考时钟。如果想恢复缺省的时钟，调用
IFilterGraph::SetDefaultSyncSource。当Graph的参考时钟改变时， Filter Graph
Manager调用IMediaFilter::SetSyncSource通知所有的每个Filter。
6.3 Clock Times
DirectShow定义了两个相关的时间：参考时间和流时间。
·参考时间：是参考时钟返回的绝对时间
·流时间：和Graph最近异常开始运行的时间有关。
·当Graph正在运行，流时间就等于从开始时间减去开始时间
·当Graph暂停，流时间就等于它暂停开始的时间
·在进行Seek操作后，流时间重新设置为0
·当Graph停止时，流时间没有定义。
当一个Sample具有时间戳T，就表示Sample应该在流时间T播放，因此流时间也叫播放时间。
应
用程序调用IMediaControl::Run运行Graph时，Filter Graph
Manager会调用每个Filter的IMediaFilter::Run方法。为了补偿调用每个Filter的时间延迟，Filter Graph
Manager会指定一个稍微将来的时间进行补偿。
6.4 Time Stamps
时间戳定义了媒体Sample的开始和结束
时间，用流时间表示。时间戳也叫播放时间。通过后面的知识你会了解到，并不是所有格式的数据流都采用同一种样式的时间戳。比如，并不是所有的MPEG
Sample都有时间戳。在MPEG Filter Graph，时间戳并不应用在每帧上直到它们从解码器输出。
当Render
Filter接收到Sample，根据Sample的时间戳进行提交。如果Sample达到晚了或者没有时间戳，
Filter立即提交Sample。否则，在提交Sample前，Filter会一直等到Sample的开始时间。（通过调用
IReferenceClock::AdviseTime方法等待开始时间。）
Source Filter和Parse Filter有责任给处理的Sample设置正确的时间戳。使用如下规则：
·文件回放：第一个Sample的时间戳为0，随后的时间戳根据Sample的长度和播放的速率来确定。这些又由文件格式确定。解析Filter有责任计算正确的时间戳（例如AVI Splitter）。
·视频和音频的捕捉：每个Sample都打上开始时间，它等于捕捉的流时间。注意下面两点：
·预览PIN（与捕捉PIN相反）出来的视频帧没有时间戳。因为Graph延迟，打上捕捉时间的视频帧到达视频Renerer时总是有延迟。这样就会使Renderer丢帧以尝试质量控制。关于质量控制可参考Quality-Control Management。
·
音频捕捉：音频捕捉Filter使用自己的缓冲，与音频驱动所使用的不同。音频捕捉驱动以固定间隔时间填充捕捉Filter的缓冲。间隔时间取决于驱动，
但通常不超过10毫秒。在音频Sample上的时间戳反应了驱动填充捕捉Filter缓冲的时间。这些时间有稍微不准确，特别是如果应用程序使用更小的缓
冲。但是，媒体时间能准确反应缓冲中音频Sample的数量。
·Mux Filter: 根据输出数据流的格式，Mux
Filter可能需要生成时间戳，也许不需要。比如AVI文件格式使用固定的帧率，没有时间戳，因此AVI Mux
Filter假定Sample都是在大约正确的时间达到。如果到达时间比时间戳晚就会丢帧。而对于文件回放，新的时间戳是运行时生成的。
可以通过调用IMediaSample::SetTime来给Sample设置时间。
另
一个可选功能是Filter可以给Sample指定Media Time。在视频流，Media
Time表示帧数。在音频流，表示数据包中的Sample数量。比如，如果每个包有1秒的444.1KHZ的音频，第一个包的媒体开始时间是0媒体结束时
间是44100。在支持Seek的流，总是与流的开始时间有关。比如，如果对一个15FPS的视频从开始定位到2秒。定位后的Media
Sample的时间戳是0但是Media Time是30。
Renderer和Mux Filter可通过检测间隔用Media Time判断帧或者Sample是否被丢弃。但是，Filter并不要求设置Media Time。设置Media Time可调用IMediaSample::SetMediaTime.
6.5 Live Source
活动的Live Filter，就是推模式的源，实时的接收数据。视频捕捉和网络广播就是例子，活动源通常无法控制数据流得速率。
Filter如果有下面的任意一个特征，通常被认为是Live Filter：
1、IAMFilterMiscFlags::GetMiscFlags时返回AM_FILTER_MISC_FLAGS_IS_SOURCE，并且至少有一个输出Pin暴露了IAMPushSource接口
2、Filter暴露IKsPropertySet接口，并且有个捕捉Pin（PIN_CATEGORY_CAPTURE），更多信息可参考Pin Property Set.
如果Live Source Filter提供时钟，那么Filter Graph Manager首先采用它作为参考时钟。
6.5.1 Latency
Filter的反映时间就是Filter处理
Sample所花费的时间。对于Live
Source，反应时间由Sample的内存大小决定。例如，假设一个Filter有一个33ms反应时间的视频源，一个500ms反应时间的音频源，每
一个视频祯（video frame）比相应的音频Sample要早470ms，除非Graph进行补偿，否则视频和音频是不同步的。
Live
Source可以通过IAMPushSource接口来进行同步。Filter Graph
Manager在应用程序调用IAMGraphStreams::SyncUsingStreamOffset方法后就不会对源进行同步。如果开启同
步，Filter Graph Manager在每个Source Filter查询IAMPushSource接口，如果支持接口，Filter
Graph
Manager就用IAMLatency::GetLatency来得到Filter期望的反应时间。（IAMPushSource从
IAMLatency继承）。通过组合这些反应值，Filter Graph Manager
决定Graph的最大反应时间。然后调用IAMPushSource::SetStreamOffset给每个源Filter设置一个数据流偏移时
间，Filter给它产生的Sample打时间戳的时候会加上偏移时间的。
这种方法主要用于实时预览。但是，实时捕捉设备的(比如摄像机)并不在
Sample上设置时间戳。因此，在实时捕捉设备上用此方法，必须从捕捉PIN进行预览。可参考DirectShow Video Capture
Filter. 现在，VFW Capture Filter 和 Audio Capture Filter.都支持IAMPushSource接口。
6.5.2 Rate Matching
当Render
Filter利用参考时钟安排播放顺序的时候，如果源Filter采用另一种时钟，在重放的时候就会发生故障。播放的速度大于源产生的速度，就会产生间隙
停顿，或者播放速度小于源的产生速度，就会形成数据的堆积，直到Graph丢帧。源一般来说是无法控制数据的产生速度的，因此，播放速度要随着源的速度改
变而改变。
现在，只有在音频播放Filter才能进行速率匹配，因为音频中的故障比视频中的更容易捕捉到。为了匹配播放速率，音频Renderer必须要选择一个匹配标准。使用如下规则：
·如果Graph没有使用参考时钟，没法进行速率匹配。（只要没有参考时钟Sample都是立即提交）
·如果Graph有参考时钟，Renderer的上一级必须要有一个活动的源。否则不进行匹配。
·如果上一级有Live Source, 并且支持IAMPushSource接口，调用GetPushSourceFlags：
·返回AM_PUSHSOURCECAPS_INTERNAL_RM，表示Source有自己的匹配机制
·返回AM_PUSHSOURCECAPS_NOT_LIVE，表示不是Live Source，即使有IAMPushSource接口，因此Audio Renderer不匹配。
·返回AM_PUSHSOURCECAPS_PRIVATE_CLOCK，表示Source用私有时钟生成时间戳。此时，Audio Renderer用时间戳匹配。（如果没有时间戳，但是Renderer忽略Flag）.
·如果GetPushSourceFlags返回0，播放Filter就根据Graph时钟和Sample的时间戳来自己决定播放速率。
·如果Audio Renderer不是Graph时钟并且Sample有时间戳，就与时间戳匹配。
·如果Sample没有时间戳，Audio Renderer尝试与进入Audio Data的频率匹配。
·如果Audio Renderer是Graph时钟，尝试与进入Audio Data匹配。
最
后一种情况的原因是：如果Audio Renderer是参考时钟，Source Filter用同样的时钟生成时间戳，然后Audio
Renderer不能与时间戳匹配。如果这么做了，就可能尝试与自己匹配，这样会引起时钟混乱。因此，Audio Renderer就与进入Audio
Data的频率匹配。
|
