登录  
 加关注
查看详情
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

面包会有的

... ...

 
 
 

日志

 
 

不显示删除回复显示所有回复显示星级回复显示得分回复 点对点局域网音视频通信如何实现音视频同步(不用DirectShow)[  

2010-09-19 12:21:36|  分类: DirectShow |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

现在的情况是:
采用DirectSound录音和播放音频;采用DirectShow采集摄像头视频,视频的播放是直接一帧帧地画到界面面板上(用QT编写的应用程序界面)。
已经实现音频和视频的实时采集压缩,分别发送和传输(音频和视频用不同的socekt和端口,UDP传输)和播放。

现希望实现音视频的同步播放(即所谓的唇音同步),看到不少都是用DirectShow去实现音视频同步,
我不想用DirectShow, 该如何去实现音视频同步呢?

现在初步大致的想法是:

方案一:音视频采集时,得到其采集时间戳,然后音视频分别压缩,再将具有相同时间戳的音视频包打包放在一个数据包内,
  然后发送传输,接收端从数据包内提取出音频和视频数据,分别同时播放。因为同一数据包内的音视频具有相同的采集
  时间戳,即是同一时刻采集的,则实现了同步。

方案二:同样得到采集时间戳信息,音视频分别压缩后,分别加上该时间戳信息,然后音视频分别发送和传输。
  接收端分别得到音视频数据,音频正常播放(考虑人对音频播放更敏感),并以音频播放为基准,调整视频的播放速率,
  视频帧到达时,将其时间戳与当前播放的音频时间戳进行比较,给定一个同步容忍度范围,如果超前了,则该视频帧暂不播 
  放,如果滞后后就丢弃该视频帧。从而实现音视频的同步。

请问以上方法是否可行?存在什么问题或者有什么其它更好方法?(不用directshow)

另外,如何得到音视频采集时的时间戳呢?

一般采用第二种方案!
一般 视频解码一个线程 音频解码一个线程
视频解码线程同音频解码线程去同步,同步的代码可以放在视频解码线程里面,音频解码线程自己播自己的。
音频解码线程每播放一帧音频(音频实际是采样),时间
t音=t音+t变化;
视频线程每播放一帧视频,时间
t视=t视+t变化;
同步代码发现:t视-t音>0并超过了一个阈值,就让视频解码线程先歇着,但是这时从网络接收数据没有停,接下来都先扔到视频缓冲队列中。
如果t视-t音<0并超过了一个阈值,就让视频解码线程加快输出,或是丢帧,赶上音频解码线程

  评论这张
 
阅读(1082)| 评论(0)

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2018