漫談流媒體服務器集群的負載均衡

高性能寬帶信息示范網3TNet的創建，使遠距離VOD成為可能。流媒體服務器（Streaming Media Server 簡寫MS）集群系統能夠用相對較為廉價的方式提供較強的可擴展性和良好的吞吐性能，然而要使系統資源得到充分利用卻面臨著許多技術上的挑戰，負載均衡技術就是其中之一。在一個由服務器集群構成的大規模視頻點播系統中，負載均衡策略的優劣直接影響著整個系統的資源利用效率和服務質量。

MS系統的架構特點

圖1. MS中的視頻點播系統示意圖

圖2. 普通視頻點播系統示意圖

對比圖1和圖2可以看出，MS中的視頻點播系統與普通視頻點播系統的不同：在普通視頻點播系統中，數據全部存儲在本地服務器硬盤上，直接將數據讀取到緩存中即可為用戶提供服務；而在本文的視頻點播系統中，只有部分影片存儲在本地服務器中，這些影片的處理和普通視頻點播服務器相同，對于其它本地沒有存儲的影片，MS獲得用戶請求后立即向內容推送平臺（CDP）請求數據，CDP將通過ASON（3TNet）的Burst ASON機制即時將數據傳送過來，MS并將數據存放在緩存中為用戶服務。

如果MS沒有好的節目存儲調度管理機制，影片存儲不合理，將極易出現頻繁向上級內容提供商請求數據的情況，而一個上級內容提供商為多個MS提供服務，對每一個MS的服務時間是有限的，未必能及時響應于一個請求，且MS與內容提供商之間的數據傳送是通過ASON完成的，ASON 采用交換式連接，根據客戶需求來動態分配光通道，這種連接的建立、拆除都會占用一定的時問，頻繁的連接建立與拆除操作必定會人大降低整個系統的有效利用率。

另外，MS從ASON上接受數據時，極短的時間內有大量的數據同時到達緩存，給系統帶來了新的負載壓力；且MS提供的是流媒體服務，需對普通媒體文件進行實時編碼，轉化成流式數據傳送給用戶，這也是系統負載的一部分。

由以上分析可見，由于本系統特殊的架構特點，MS中的數據存儲方式會更加直接地影響著系統的負載分配和服務質量，這對負載均衡策略提出了更高的要求：在實現負載均衡策略時需要同時考慮數據的存儲調度管理，否則會造成有的服務器異常繁忙，而有的服務器比較空閑，整個系統資源不能得到充分利用的局面。

MS中的負載均衡系統設計

MS中的負載均衡系統是在基于LAN的分布式體系結構下實現的負載均衡，所有來自客戶端的請求被透明地分配到若干服務器上。對用戶而言，整個分布式系統仿佛是臺單一的邏輯服務器。這樣的集群系統能夠提供較強的可擴展性和較好的吞吐性能。從商業角度而言，不僅可以保護原來的投資，而且也可以通過廉價的集群系統獲得高性能計算機所能達到的處理能力。

然而要使這樣的集群系統保持較高的資源利用率面臨一定挑戰。例如，現有的負載均衡方法都不能很好地解決本系統中涉及的問題，最早的負載均衡技術是通過DNS來實現的，在DNS中為多個地址配置同一個域名，從而查詢該域名的客戶機將訪問不同的服務器，達到負載均衡的目的。DNS負載均衡雖然簡單而有效，但它不能區分服務器的差異，也不能反映服務器的當前運行狀態。

有人采用反向代理服務器進行請求轉發的方法，該方法雖然能夠應用優化的負載均衡策略，使每次服務均由最空閑的內部服務器來提供，以達到負載均衡的目的。但隨著并發連接數量的增加，代理服務器本身的負載也變得非常大，反向代理服務器本身反而會成為服務的瓶頸。還有人采用支持負載均衡的地址轉換網關的方法，可以將一個外部IP地址映射為多個內部IP地址，對每次請求動態使用其中一個內部地址，達到負載均衡的目的。

很多硬件廠商將此技術集成在設備中，采用隨機選擇、根據服務器的連接數量或者響應時間進行選擇的負載均衡策略來分配負載，然而硬件實現的負載控制器靈活性不強，不能支持更優化的負載均衡策略和更復雜的應用協議。還有負載均衡方法是在某些協議內部實現的，例如HTTP協議中的重定向功能等，但它依賴于特定協議，因此使用范圍有限。

MS中采用的基于分配器的負載均衡機制

基于分配器的負載均衡機制是IP/TCP/HTTP的重定向分配。一般需要一個特殊的前端節點，稱為分配器(dispatcher)。所有的客戶端請求都經過分配器并由它分配到后端服務器處理。這種基于分配器的請求分配機制通常對客戶端是透明的，采用的機制有兩種：

一種稱為中繼機制(relaying)，如圖3所示，客戶端請求到達分配器后，由分配器按定的負載分配算法，將請求傳遞給被選中的服務器。服務器處理后的結果傳回至分配器，再由分配器轉發給客戶端。分配器的工作通常在操作系統的應用層完成，也有修改操作系統核心直接支持中繼機制的系統，其性能會有所改善，這種優化的方法稱為TCP銜接(TCP splicing)；

圖3. 中繼機制示意圖

另外一種機制稱為TCP傳遞(TCP handoff)，如圖4所示，客戶端的請求經過分配器分配到達服務器，服務器將處理后的結果不經過分配器而直接發送給客戶端。中繼或TCP銜接機制要求所有的通信均要經過分配器(特別是處理結果信息量很大的情況下)，因此容易在分配器形成通信瓶頸，TCP傳遞機制避免了這一問題，因此性能更好，但是需要對前端和后端節點進行修改，以支持TCP handoff 。

圖4. TCP傳遞機制示意圖

MS中的負載均衡系統結構設計

對于大型視頻點播系統來說，一個好的負載均衡算法不能只單純考慮負載分配問題，更應“未雨綢繆”，在接受用戶請求和節目存儲時就考慮到負載均衡問題，因此我們認為本系統中的負載均衡系統應該如圖5所示，分為接入許可控制模塊(Admission Control Module, A CM )、負載調度模塊(Load Schedule Module，LSM )和存儲管理模塊(Storage Manage Module, SMM )三個部分。

接入許可控制模塊作為視頻服務器的單一入口點，判斷是否接受客戶的命令請求；負載調度模塊負責根據一定的服務器選擇算法分配負載，并管理各MS-VOD節點；存儲管理模塊負責根據點播率變化情況及時調整影片存儲。

圖5. MS中的負載均衡系統結構示意圖

客戶請求處理流程

ACM作為MS的入口點，記錄有所有正在接受服務客戶與MS-VOD的對應關系，即根據客戶標識能夠立即查詢到為其服務的MS-VOD。當ACM 收到流量控制和VCR(Video Cassette Record)等己連接客戶的命令請求時，將其賦予很高的優先級，直接轉發到為該客戶服務的MS-VOD，由同一個MS-VOD作進一步處理。而對于客戶提交的新的點播請求命令，則按下而的流程完成處理：

1． MS-Manager中的ACM模塊收到用戶請求后進行處理：首先與BOSS交互進行用戶身份鑒權和點播合法性的認證，然后再經許可準入控制算法處理，決定是否接受該用戶請求；

2. 對于非法的點播請求或者是暫時無法滿足其QoS要求的點播請求，ACM直接返 回給客戶拒絕服務信息；如果用戶請求通過了ACM的認證并被許可準入，則該請求會被轉發至LSM模塊；

3. LSM 記錄其收到的客戶請求，根據當前各MS-VOD的負載記錄和一定的負載調度策略，按著先來先服務的原則，逐一為查詢命令選擇MS-VOD，如果查詢到了合適的MS-VOD，立即通知此MS-VOD為相應的用戶提供視頻服務；

4. 如果當前沒有可用的服務器，則將該請求保留，保留其間多次為其選擇MS-VOD，直至選擇成功或失敗，并將結果通知ACM。對于超時失敗的選擇查詢， ACM會將結果通知該客戶；

5． 對于選擇成功的查詢，將該客戶的加載請求發送到相應的MS-VOD，如果此MS-VOD中存儲有相應影片，則直接將影片數據從硬盤中調出至緩存中，再由視頻處理模塊將其轉化為流式數據，以提供給用戶流媒體視頻服務；

6． 如果此MS-VOD中沒有存儲相應的影片，則立即向上級內容分發平臺CDP發出數 據請求，如果請求數據成功，將從ASON上接收數據放在緩存中，經過數據轉換后，立刻向客戶發送數據，并將加載成功結果通知ACM，否則將失敗結果返回給ACM；

7． ACM將收到的加載結果返回給客戶，一個用戶請求處理完成。

小結

流媒體服務器研究的一個重點就是負載均衡問題。本文從MS的架構特點和工作流程出發，給出了MS的系統設計，并提出將許可準入控制、負載分配和存儲調度管理三者有機結合的負載均衡算法，在實際測試中取得了很好的均衡效果。

(責任編輯：銘銘 mingming_ky#126.com TEL：（010）－68476636)