视频会议中通常使用的FEC/QOS技术,这方面的资料比较复杂和稀少,根据这么多年的工作经验,做一下分享。
在IP视频通话中丢包造成的影响多种多样。其中对视频质量的影响主要有:马赛克现象、局部变形(图像的某些区域不清晰)、图像模糊、屏幕频繁刷新或闪烁、视音频不同步、帧率下降、图像静止等等。对音频质量的影响包括:总体音频失真、间断或间歇性噪音、音频中断等。而对内容和演示数据质量的影响则包括:幻灯片模糊变形、翻页速度减慢或屏幕频繁刷新和图像静止等等。另外,丢包还会引起过度延迟,甚至是通话中断。
IP视频通话中丢包造成的影响程度主要由丢包率、丢包随时间变化情况和视频通话中各个终端和设备的能力所决定。正如我们通常认为的那样,丢包率越高,对视频通话的影响也更为明显。
1. ARQ :是一种按需重传的机制,发送者通过接受者的反馈得知有报文在传输过程中有丢失,就重传该报文。
缺点:通信信道的利用率不高,也就是说信道还远远没有被数据流占满,需要接收方发送ACK,这样影响传输效率。可以想象,这种方式发送方肯定需要一个buffer来存储获取到的数据。重复发送数据包也会影响传输速度。可以称之为后向纠错。
2. FEC :是一种前向性纠错技术,发送方将要发送的数据加上一定的冗余纠错码一起发送,接收方则根据纠错码对接收到的数据进行差错检测,如发现差错,则由接收方进行纠错。
特点:使用纠错码,单信道通信,发送方无需设置缓存。
在计算机通信中主要有丢失和错误两种差错。错误的原因是某些比特数据发生畸变;丢失的原因是某些数据包没有收到。底层协议通常需要考虑这两种情况,如链路层的FEC使用差错校正码对既有丢包又有错误码的情况依然能重建正确的数据。它通常由硬件来实现,采用RS编码,汉明码等。
传输差错反映到通讯高层只是数据包的丢失。因此工作在传输层或者应用层的FEC可通过丢失矫正码和已知包数来处理丢失情况。
纯的FEC技术不必重传数据,但是编解码增加了计算的开销和复杂性,用处理能力和带宽来换取可靠性和较小的回复延迟,在丢包率较高的情况下,性能明显下降,整体性能取决于丢失最严重的接收者。
C++音视频开发学习视频:免费】FFmpeg/WebRTC/RTMP/NDK/Android音视频流媒体高级开发
【文章福利】:免费领取C++音视频学习资料包、技术视频,内容包括(音视频开发,大厂面试题,FFmpeg ,webRTC ,rtmp ,hls ,rtsp ,ffplay ,srs),免费分享,如有需要的可以加君羊领取哦!~学习交流君羊994289133点击加入领取资料包
范德蒙矩阵是法国数据家范德蒙提出的一种各列为几何级数的的矩阵。其形式如下:
该矩阵的应用之一就是在纠错编码中。
四:FEC算法是我们团队最近刚开发出来的基于范梦德矩阵的算法。运用在我们的视频会议终端上,基于p2p协议,经过测试,在丢包5%的情况下,可以认为不丢包,超过50%完全能纠正过来。
Webrtc中的fec分为两部分UlpFEC和FlexFEC;
UlpFEC为Uneven Level Protection FEC的缩写,非均衡级别保护向前纠错。它可以针对不同数据包提供不同级别的保护,从而对重要数据包进行更多保护。
FlexFEC为灵活性向前纠错,使用的是交织编码,交织编码复杂性高,但保护性更好,而且能有效解决(RFC 2733、RFC 5109和SMPTE 2022-1)中遇到的伸缩性问题。