OMCS網(wǎng)絡(luò )語(yǔ)音視頻聊天框架功能及技術(shù)分析

OMCS網(wǎng)絡(luò )語(yǔ)音視頻框架是集成了語(yǔ)音通話(huà)、視頻通話(huà)、遠程桌面觀(guān)看與協(xié)助、電子白板編輯與觀(guān)看等多種媒體于一身的跨平臺（.NET、Android、iOS）網(wǎng)絡(luò )多媒體框架，實(shí)現了多媒體設備【麥克風(fēng)、攝像頭、桌面、電子白板】的采集、編碼、網(wǎng)絡(luò )傳送、解碼、播放（或顯示）等相關(guān)的一整套流程，且可智能地根據網(wǎng)絡(luò )狀況實(shí)時(shí)調整幀頻、清晰度、并優(yōu)先保證語(yǔ)音通話(huà)效果。您只要連接到OMCS服務(wù)器，就可以隨時(shí)訪(fǎng)問(wèn)任何一個(gè)在線(xiàn)用戶(hù)的多媒體設備?；贠MCS語(yǔ)音視頻聊天框架，您可以快速地開(kāi)發(fā)視頻聊天系統、視頻會(huì )議系統、遠程醫療系統、遠程教育系統、網(wǎng)絡(luò )監控系統等等基于網(wǎng)絡(luò )多媒體的應用系統。（可跳過(guò)概要介紹，直接進(jìn)入開(kāi)發(fā)手冊目錄?或?Demo下載）一.OMCS語(yǔ)音視頻聊天框架功能簡(jiǎn)介

任何一個(gè)OMCS的Client都有兩種身份：Owner和Guest。

當一個(gè)Client作為Owner時(shí)，它提供本地的攝像頭、話(huà)筒、桌面、電子白板等多媒體設備供其它的Client訪(fǎng)問(wèn)。

而當一個(gè)Client訪(fǎng)問(wèn)其它Client提供的多媒體設備時(shí)，則該Client就是以Guest的身份出現。

2.單向連接，1對1，1對N，N對1，N對N的關(guān)系

一個(gè)Client可以同時(shí)訪(fǎng)問(wèn)多個(gè)在線(xiàn)Client的多媒體設備；而一個(gè)Client提供的某個(gè)多媒體設備，也可以同時(shí)被多個(gè)其它的Client同時(shí)訪(fǎng)問(wèn)。其基礎是單向連接（比如當A訪(fǎng)問(wèn)B的攝像頭時(shí)，B不用訪(fǎng)問(wèn)A的攝像頭），由單向連接就可以組合成1對1，1對N，N對1，N對N的關(guān)系， 這樣就非常靈活。

像監控一個(gè)攝像頭這樣的系統直接使用單向連接就可以；兩個(gè)人視頻聊天就是1對1的關(guān)系；在線(xiàn)教育系統中，老師講學(xué)生聽(tīng)，就是1對N的關(guān)系；同時(shí)監控多個(gè)攝像頭就是N對1的關(guān)系；而視頻會(huì )議則是“N對N的關(guān)系”。

3.P2P通道

當兩個(gè)Client之間相互通信時(shí)，OMCS底層會(huì )自動(dòng)嘗試P2P連接，如果P2P通道能創(chuàng )建成功，該兩個(gè)客戶(hù)端之間的后續通信都經(jīng)過(guò)P2P通道進(jìn)行。即使P2P通道是基于UDP的，OMCS也會(huì )保證P2P通信的可靠性。

4.信道分離

在某些具體的應用中，我們可能需要把信道依據數據的類(lèi)型進(jìn)行分離。比如，在視頻會(huì )議系統中，希望能將傳送語(yǔ)音的信道獨立出來(lái)，以避免其它類(lèi)型數據傳送時(shí)可能產(chǎn)生的擁擠而影響到語(yǔ)音的流暢性。這種情況下，我們就可以將語(yǔ)音數據分離到一條專(zhuān)用的信道進(jìn)行傳送。

5.超簡(jiǎn)單的編程模型

當基于OMCS語(yǔ)音視頻聊天框架進(jìn)行開(kāi)發(fā)時(shí)，如果要訪(fǎng)問(wèn)其它客戶(hù)端提供的多媒體設備，我們只需要從工具箱中拖拽對應的連接器控件/組件到UI上，然后調用其Connect方法連接到目標設備即可。Connect方法會(huì )返回連接的結果，如果連接成功，則該連接器控件/組件將會(huì )正常工作（比如，CameraConnector控件將會(huì )顯示目標攝像頭捕捉到的視頻）。

另外，我們已經(jīng)提供了完整的OMCS服務(wù)端程序，即OMCS.Server.exe，在使用時(shí)，只要部署該程序并啟動(dòng)它即可。

6.與應用集成

OMCS解決的僅僅是多媒體設備的管理、連接、顯示/播放、控制等問(wèn)題，并沒(méi)有摻雜具體的業(yè)務(wù)邏輯。所以，當與具體的應用集成時(shí)，通常OMCS的服務(wù)端是獨立的，而OMCS的客戶(hù)端dll將被嵌入到具體應用的客戶(hù)端程序中，就像下面一樣：

?

（如果您只需要采集本地語(yǔ)音視頻數據，敬請了解?MCapture。如果您需要錄制語(yǔ)音視頻，敬請了解?MFile。）

二.OMCS語(yǔ)音視頻聊天框架技術(shù)特點(diǎn)

1.視頻通話(huà)

（1）支持160*120、320*240、480*360、640*480、720p、1080p等多種采集分辨率?？稍谶\行時(shí)，動(dòng)態(tài)修改該分辨率。

（2）支持高、中、低三種視頻編碼質(zhì)量。

（3）支持幀頻1~25fps。

（4）當網(wǎng)絡(luò )擁塞時(shí)，主動(dòng)棄幀。

（5）根據網(wǎng)絡(luò )狀態(tài)，自動(dòng)調整視頻的編碼質(zhì)量。

（6）可以以位圖格式獲取當前視頻幀。

（7）支持多種視頻設備：普通攝像頭、usb攝像頭、虛擬攝像頭、視頻卡等。

2.音頻通話(huà)

（1）支持高、中、低三種音頻編碼質(zhì)量。

（2）支持回音消除（AEC）、靜音檢測（VAD）、噪音抑制（DENOISE）、自動(dòng)增益（AGC）等網(wǎng)絡(luò )語(yǔ)音技術(shù)。

（3）最多可支持16路混音。

（4）自適應的JitterBuffer，根據網(wǎng)絡(luò )狀態(tài)，動(dòng)態(tài)調整緩沖深度。

（5）如果同時(shí)開(kāi)啟音頻和視頻會(huì )話(huà)，則自動(dòng)同步視頻畫(huà)面與聲音。

（6）在網(wǎng)速慢時(shí)，自動(dòng)調整視頻的質(zhì)量，優(yōu)先保證音頻的清晰和連貫。

（7）根據網(wǎng)絡(luò )狀態(tài)，自動(dòng)切換語(yǔ)音數據到質(zhì)量更高的網(wǎng)絡(luò )通道，保證語(yǔ)音通話(huà)效果。

3.遠程桌面

（1）支持高、中、低三種視頻編碼質(zhì)量。

（2）根據機器性能和網(wǎng)速自動(dòng)選擇幀頻。

（3）可動(dòng)態(tài)調整屏幕分辨率。

（4）提供觀(guān)看模式和控制模式兩種選擇。

（5）當網(wǎng)絡(luò )擁塞時(shí)，主動(dòng)棄幀。

（6）根據網(wǎng)絡(luò )狀態(tài)，自動(dòng)調整遠程桌面的清晰度。

4.電子白板

（1）支持常用的視圖元素：直線(xiàn)、曲線(xiàn)、箭頭、矩形、三角形、橢圓、文字等；支持視圖元素的上下對齊，左右對齊。

（2）可修改邊框顏色、填充顏色、線(xiàn)條粗細、線(xiàn)條虛實(shí)、顯示比例。

（3）可插入圖片、截屏，可將整個(gè)白板保存為位圖。

（4）支持課件：上傳課件、打開(kāi)課件、刪除課件，課件翻頁(yè)等。且這些操作會(huì )自動(dòng)同步到連接到了同一白板的各個(gè)客戶(hù)端。

（5）提供觀(guān)看模式和操作模式兩種選擇。

（6）激光筆：OMCS會(huì )將老師/主講人的激光筆位置自動(dòng)同步到各個(gè)客戶(hù)端。

（7）多個(gè)Guest可以同時(shí)觀(guān)看或操作同一個(gè)Owner的白板。

三.OMCS Demo運行截圖

視頻/音頻連接器 截圖：

電子白板連接器 截圖? --?不使用課件：???????

電子白板連接器 截圖? --?使用課件： ? ? ??

遠程桌面連接器 截圖：