視頻會議系統的研發是個復雜而艱巨的過程，我們現在列舉一下，視頻會議系統開發當中涉及到的一些關鍵技術：音視頻編碼技術、數據融合和處理技術、幀緩沖映射技術、3G智能手機移植技術、恒定視頻質量的碼率控制技術、丟包后處理技術、去塊效應濾波器技術、文檔協同瀏覽技術、分層視頻編碼技術、混音技術、音視頻硬解碼技術和P2P技術。
(1)音視頻編碼技術
通過終端的音視頻捕捉設備，把音視頻模擬數據轉換成數字信號，不管是PC還是3G手機通過捕捉設備捕捉的聲音和圖像的數字信號，其冗余性都非常大，為了減少網絡傳輸的帶寬，音視頻都需要經過壓縮編碼去除其冗余的數據，視頻主要通過空間和時間上的預測編碼去除冗余數據，音頻主要通過哈夫曼編碼和量化去除冗余數據，然后在網絡上傳輸經過壓縮的數據，最后在播放或顯示之前進行解碼，把原始的數據進行還原。其音視頻編解碼流程圖如下圖所示：
(2)數據融合和處理技術
視頻會議系統主要包括MCU(多點控制單元)服務器和終端。其中終端包括：一般的PC終端(通過IP網絡連接互聯網)、硬件視頻會議終端(H.323或SIP協議的終端)、3G手機與平板電腦終端(通過3G網連接)等設備。MCU服務器連接互聯網與3G網絡(包括 WCDMA、TD-SCDMA、CDMA2000)，由于不同的終端采用不同的網絡接入方式，因此為了使各種終端能互聯互通，接入系統的終端都需遵循統一的會議通信協議(H323協議或SIP協議等)。系統首先通過多媒體碼流提取連接終端的協議信息，然后對所屬的協議進行登記和判斷，接著通過協議棧模塊把該協議相關信息發送到協議編解碼器進行解碼和編碼，從而進行相應的數據交換，最后通過多媒體碼流輸入輸出模塊發送多媒體碼流給連接的終端，從而達到不同的終端、不同的協議、不同的網絡的數據高度融合和無縫連接。
(3)幀緩沖映射技術
視頻會議服務器主要提供給終端實時數據，因此要求視頻會議服務器具有很強的存儲轉發功能，傳統的數據流轉發方式，由于需要較大的內存維持數據流，不能支持大量并發數據。該技術在視頻會議服務器的內存為每個終端建立相應的緩沖區，作為接收和轉發數據的存儲空間。而視頻會議的音視頻都是以數據幀來進行編碼和解碼，因此緩沖區的最小單位是以數據幀來區分。為了達到大量并發的數據處理能力，為每個連接的終端和數據幀緩沖，用Hash表進行一一映射對應，當需要轉發數據的時候，只要通過查找終端的Hash映射表就可以快速搜索到相應的幀緩沖，為視頻會議服務器處理大量并發的數據提供最有效的手段。
(4)3G智能手機移植技術
3G智能手機使用的操作系統一般與PC的操作系統不一樣，其開發環境一般都在PC上進行，通過模擬器在PC上進行手機系統的應用程序開發，而在這些操作系統上運行的應用程序一般都比較缺乏，為了在系統上有更多的應用，通常把PC上的應用程序通過相應的代碼修改和重新編譯，實現PC應用程序的手機移植。智能手機的應用程序移植主要采用跨平臺的開發語言進行開發，如JAVA和C語言， 通過跨平臺語言的多平臺交叉編譯以及一些特定的優化，使在PC上運行的應用系統能移植到手機系統上。
(5)恒定視頻質量的碼率控制技術
通常的視頻碼率控制是從整體上對圖像質量進行優化，優化過程中可能導致每幀圖像內各宏塊的信噪比分布不集中，圖像各部分質量有較大波動，造成主觀視覺質量下降。該技術通過估計P幀類型圖像復雜度或者I幀類型圖像的復雜度以及量化參數來調節視頻質量，從而獲得一致性的圖像質量和更好的視覺感受。
(6)丟包后處理技術
在無QOS保障的網絡中，由于視頻會議傳輸需要較大的數據流量，數據很容易出現延遲或者丟包的現象，如對丟包后的數據不進行處理，數據還原的質量會出現一定影響，因此對丟包后的數據進行處理是數據傳輸處理當中非常重要的部分，通常采用丟包后數據重發技術或者丟包后處理技術來進行丟包恢復，數據重發技術一般通過協議來完成，如TCP或可靠的UDP來實現，但這種方式會增加更多的帶寬和更大的延遲，另外一種方式是丟包后處理技術，通過前向糾錯、視頻錯誤掩飾以及其他的方式實現丟包后的數據還原，該方式既能還原較大的數據量，而且不產生延遲，實現了數據實時性與可靠性之間最佳的平衡點，滿足低帶寬的實時交互式視頻會議傳輸的要求。
(7)文檔協同瀏覽技術
文檔協同瀏覽通常是通過文檔分發到各個客戶端，從而實現文檔的共享，但該方式須把文檔傳輸到各個客戶端才能實現文檔的協同瀏覽，因此如果文件較大，會造成較大時間等待。本項目的文檔協同瀏覽技術是通過虛擬打印技術進行的，虛擬打印技術是通過底層的驅動來模擬一個打印機輸出設備，當文檔調用虛擬打印機進行打印的時候，通過驅動層對將要輸出到打印口的數據進行截獲，從而把文檔轉化成圖片，然后進行傳輸和協同瀏覽。該方式由于模擬的是打印機打印文檔，因此支持任意文檔格式，提高了系統的適用性。該技術還能把文檔進行分頁處理，共享端瀏覽的文檔只須傳輸當前所看的頁面，避免了整個文檔的傳輸，既節省了帶寬也增加了協同瀏覽的實時性。
(8)分層視頻編碼技術
分層視頻編碼是把視頻圖像分割成一個基層和一到多個增強層來創建視頻圖像的，這些視頻流分別搭載在網絡上的不同數據包中，基層數據包丟失所造成的影響和非可分層編碼的結果是一致的，不過增強層數據包丟失造成的影響就要小得多。由于增強層是以基層而不是前幀圖像為基礎的，因此，增強層的數據包丟失只會引起暫時性的清晰度的下降，而不會對視頻圖像的基本架構帶來影響，從而大大提高視頻的抗丟包能力。
分層視頻編碼還能通過不同的層，產生不同的幀率和分辨率的視頻編碼壓縮流，以適應不同帶寬，不同顯示分辨率的應用需求。傳統的非分層視頻編碼對圖像的編碼只是通過空間和時間上對數據進行壓縮，其數據與幀數、分辨率沒有直接相關性，數據的大小只能傳輸固定的幀數和分辨率;而分層視頻編碼通過分層的模式把幀數、分辨率作為直接的參考，視頻的幀和不同分辨率的圖像直接插入到數據流，可以隨著帶寬的不同，采用不同的幀數和分辨率，有效節約了帶寬和提高了視頻圖像的質量。如圖：對于專網的會議終端，可以采用1080P分辨率、30幀/秒進行高清視頻的傳輸，而在3G網絡，可以采用270P分辨率、30幀/秒進行視頻傳輸，這樣的方式更能滿足不同帶寬的終端的需求，提高了終端的網絡利用率。
(9)去塊效應濾波器技術
視頻壓縮算法是通過分塊來實現壓縮，由于編碼存在一定的失真，經過壓縮編碼還原后，會在解碼后的圖像中形成塊效應，會引起圖像的質量的下降，因此需對解碼后的圖像進行去塊效應，平滑圖像邊緣，改善還原后的圖像質量。去塊效率濾波器主要采用：對真實邊界不濾波，對偽邊界根據像素穿越邊界的漸變度和編碼方式進行濾波;根據濾波強度，選擇不同的濾波系數對邊界兩側像素進行濾波操作等，從而使還原后的圖像消除塊效應，改善圖像的感觀質量。
(10)混音技術
視頻會議當中，人們希望視頻會議能夠模擬真實的會議環境，在有多人同時發言的情況下，終端能同時聽到每個人說話的聲音，這就需要增加混音功能，所謂的混音就是將不同的音頻流在某節點處通過線性疊加的方法混合成一個音頻流，這樣在播放的時候達到模擬真實會場場景的目的。
(11)音視頻硬解碼技術
軟解碼是通過軟件讓CPU來對視頻進行解碼處理;而硬解碼是指不借助于CPU，而通過專用的子卡設備來獨立完成視頻解碼任務。硬解碼相對軟解碼，不占用CPU，效率更高，因此硬解碼是高清視頻的必要選擇。PC的硬解碼主要是采用第三方的壓縮卡來實現，而在3G智能手機的顯示芯片一般都已經集成硬解碼，因此3G智能手機手機上可以直接通過操作相應的硬件編解碼器來實現高效的音視頻編解碼。
(13)P2P技術
P2P技術是指節點之間都是同級節點，同時對網絡上的其它節點充當客戶端和服務器的一種技術。這種設計模型不同于傳統的客戶端-服務器模型，在客戶端-服務器模型中通信通常來往于一個中央服務器。而P2P的客戶端的數據除控制數據外一般都不直接通過服務器，這樣視頻會議服務器就不會成為帶寬和信息處理的瓶頸，提升了系統的容量。P2P技術更適合于點對點視頻通信、3G可視電話等“非中心化”的業務。