2010-09-19 12:21:36| 分类： DirectShow | 标签： |举报 |字号大中小 订阅
现在的情况是：
采用DirectSound录音和播放音频；采用DirectShow采集摄像头视频，视频的播放是直接一帧帧地画到界面面板上（用QT编写的应用程序界面）。
已经实现音频和视频的实时采集压缩，分别发送和传输（音频和视频用不同的socekt和端口,UDP传输）和播放。
现希望实现音视频的同步播放（即所谓的唇音同步），看到不少都是用DirectShow去实现音视频同步，
我不想用DirectShow, 该如何去实现音视频同步呢？
现在初步大致的想法是：
方案一：音视频采集时，得到其采集时间戳，然后音视频分别压缩，再将具有相同时间戳的音视频包打包放在一个数据包内，
然后发送传输，接收端从数据包内提取出音频和视频数据，分别同时播放。因为同一数据包内的音视频具有相同的采集
时间戳，即是同一时刻采集的，则实现了同步。
方案二：同样得到采集时间戳信息，音视频分别压缩后，分别加上该时间戳信息，然后音视频分别发送和传输。
接收端分别得到音视频数据，音频正常播放（考虑人对音频播放更敏感），并以音频播放为基准，调整视频的播放速率，
视频帧到达时，将其时间戳与当前播放的音频时间戳进行比较，给定一个同步容忍度范围，如果超前了，则该视频帧暂不播
放，如果滞后后就丢弃该视频帧。从而实现音视频的同步。
请问以上方法是否可行？存在什么问题或者有什么其它更好方法？（不用directshow）
另外，如何得到音视频采集时的时间戳呢？
一般采用第二种方案！
一般 视频解码一个线程 音频解码一个线程
视频解码线程同音频解码线程去同步，同步的代码可以放在视频解码线程里面，音频解码线程自己播自己的。
音频解码线程每播放一帧音频（音频实际是采样），时间
t音=t音+t变化；
视频线程每播放一帧视频，时间
t视=t视+t变化；
同步代码发现：t视-t音>0并超过了一个阈值，就让视频解码线程先歇着，但是这时从网络接收数据没有停，接下来都先扔到视频缓冲队列中。
如果t视-t音<0并超过了一个阈值，就让视频解码线程加快输出，或是丢帧，赶上音频解码线程
评论