Sybase IQ助力廣東移動IQ IP網管項目案例

領測軟件測試網

背景

　　

隨著通信技術的不斷演進和競爭格局的不斷變化，目前各電信運營商都在逐步由單一的通信運營商向綜合通信運營商轉變，其核心網絡則由電路交換網絡逐步向分組IP 網絡過渡。在下一代通信網絡

中，將是一個以IP技術為核心的世界。隨著網絡規模越來越大，設備越來越復雜，網絡管理的重要性也越來越突出。廣東移動是中國領先的移動運行商，其CMNET是中國移動集團內規模最大的省級IP網絡，具有網絡規模大、設備種類多、業務開展豐富等特點。廣東移動需要一個完善的網絡管理系統來實現其網絡維護的“集中化、電子化、信息化”的要求，滿足在網絡監控、災難恢復、優化資源配置、提供決策支持等方面各種需求，從而增強運營商的控網能力，提升管理水平，提高工作效率。

　　

傳統的IP網管系統軟件供應商主要是一些國外公司，但在其網管平臺上進行二次開發都存在底層代碼不開放的問題，影響了運營商對網管系統核心的掌握和控制力度。東信金通作為國內著名的傳統電信設備供應商已經有十年的歷史，從2000年開始投入大量資金和研發人員進行該網管系統的開發，購買了網絡設備建立試驗開發環境，在CMNet浙江省網上進行了現網環境的開發試用。通過試用運行過程中不斷發現問題，并根據客戶需求不斷對系統進行修改、完善，使網管產品日臻成熟，并走在國內同類產品的前面，成為一個技術成熟、滿足客 戶化需求的商用產品，打破了國外公司對這個領域的壟斷，其核心IPNet Manager網管系統有幾個特點: 一、綜合的電信級產品，管理功能強大，不僅能夠管理傳統的互聯網絡設備，而且可以管理目前多種多樣的業務設備，對各種 業務進行狀態監控、性能統計和趨勢分析; 二、軟件基于開放平臺，遵照TMN的管理目標進行開發，研發起點高，二次開發簡單，易于客戶化，能夠不斷根據客戶 需求定制和完善系統，可擴展能力強; 三、在正式商用前就開始現網試運行，在試運行中發現問題、解決問題，系統經受了現網考驗，得到不斷完善和強大。

廣東移動IP網管系統面臨技術挑戰

　　

廣東移動業務系統的IP網絡管理系統，主要承載廣東省內所有WAP / 彩信 / KJAVA 等業務訪問的管理，其包含15個IP交換系統，用來支持對移動ICP的內容訪問，這些訪問的信息包括用戶的訪問情況，網絡服務質量，交換信息等等; 其日數據行數巨大，僅WAP業務一項，目前每天 超過6億行(ROWS)，且保持著相當高的增長速率; 而且廣東移動還承載全國的KJAVA信息的管理的任務。

　　

盡管IP網管已經是一個非常成熟的系統，但廣東移動有其特殊的業務需要，以前不需要系統包存原始CDR數據進行精確的業務分析，如單一電話的一段時間內的訪問模式，而廣東移動需要能夠查詢到某用戶某時間段內的具體訪問情況的原始記錄，以此作為投訴以及故障解決的原始信息;同時，需要能夠準確按日/周/月統計無重復訪問用戶數;同時，還涉及到多業務系統間的關聯分析，例如:同時使用2項或者3項業務的用戶數，僅使用一項業務的用戶號碼等等，以此數據為業務開展和新業務開拓做數據支持。同時對不同移動的ICP進行業務訪問流量和次數進行排名分析。這使得以前應用中簡單模糊的統計方法必須讓位于精確地對大數據據量進行存儲和分析的做法。

　　

鑒于以上需求，在數據庫端，必須保存最原始的數據，還需要保存相當長時間至少要保存六個月以上的跨度數據;另外在大量數據持續加載到數據庫的同時還需要做大量的匯總計算工作，常規的數據庫產品承受起來有相當大的壓力，不能滿足數據管理運行的需要。

項目的評估測試過程

　　

移動IP網管系統是東信金通公司為廣東移動開發的創新的業務管理系統，在2005年5月已經基本上開發完畢，但由于數據量已經遠遠超過目前系統可承載的規模，東信金通重新考慮了整個系統的構架，經過3個月的內部測試和客戶真實環境測試，東信金通考慮采用SybaseIQ來存儲WAP/彩信/KJAVA的原始CDR數據，并進行相應的各種數據分析。

　　

Sybase IQ是Sybase針對數據查詢和數據分析應用而設計的關系型數據庫系統，具有高效的數據壓縮技術，支持高效率即興查詢分析，和線性可擴展的特點，其開放的架構以及標準的SQL訪問接口非常適用于對大數據量的分析應用使用。

測試的情況是按照以下業務需求來確定的:

　　

A、解決數據存儲的問題，按目前計劃，在線保存2個月以上的原始話單; 僅WAP一項，其數據行數，超過360億行，存儲空間超過5TB; 存儲壓力巨大。

　　

B、數據裝載的壓力，每天超過 80G的數據需要裝載。而且是不間斷的數據加載。

　　

C、大量的數據匯聚計算，從一個數據源中的每個字段都可以引申出一種查詢請求。

　　

D、整個系統是24×7×365不間斷運行的，需要穩定的運行環境和無需停頓的維護。

整個構架的圖如下:

整個系統包括數據采樣系統，數據管理系統IQ以及應用管理服務系統，每臺數據采集機負責一個數據交換點的數據采樣, 負責從各個交換機以及廠商的SERVER上采樣原始數據,在采集機上通過轉義程序，形成數據裝載文件,傳輸到IQ主機,IQ主機的裝載守護進程，實時掃描新的數據文件,一旦發現有數據文件就馬上裝載到IQ;以5分鐘為一個單位看，5分鐘內能夠上傳30多個文件 ，一個文件大約30M大小, 大約1G多一點，大約300萬行數據左右。

　　

在這樣的持續數據加載的同時，IQ還要負責持續的數據統計，按照17種統計口徑對每15分鐘周期的數據進行匯總，同時還要按照小時，天，周等不同計量單位對數據進行二次匯總和多次匯總。

　　

在用戶環境測試中IQ表現出強勁的性能特點，裝載上能夠達到每天持續14億條記錄的裝載，在數據表上已建立各種需要的索引情況下，數據壓縮率基本上達到94%。在單表8.6億條記錄的情況下，無論是全表掃描條件定位操作可在10秒內完成，而對于制定時段的定位操作都能夠在秒級內完成; 而且大數據量下匯總操作也能夠在1分鐘左右完成，考慮到系統試運行于CPU速度很低的平臺，這樣的結果能夠充分滿足未來數據量增長情況下各種統計分析的需要。

項目當前的運行狀況

　　

2005年9月測試完成后，東信金通根據IQ的特性對 WAP/MMS/KJAVA業務查詢分析模塊進行了改寫，從而滿足了廣東移動未來業務發展的需要。從已經上線的一期來看，日裝載原始文本數據超過80G，單表記錄超過7億行; 用戶數據存儲量目前已經超過2.6TB。查詢方面，目前采用的是定時計算，通過存儲過程產生數據CUBE，面向最終報表和分析系統; 在定時匯聚計算方面，每個小時周期內，可以完成至少4次小時數據匯聚，這樣很好的保證了系統的擴展能力。

　　

在存儲方面，實際磁盤開銷，略低于原始數據文件的大小，在充分滿足查詢需求的基礎上，很好的控制了空間的膨脹，降低了存儲代價。

系統未來發展

　　

隨著廣東移動業務的進一步發展，網管系統未來會把網絡流量，網絡設備告警等信息納入分析范疇，從而增強業務管理能力，原來的設計這些數據只能保存一周，未來將能夠長時間進行保存。這個系統最終將達到用戶數據存儲將為6TB，從而滿足移動6個月數據保存的要求。

　　

這個項目的成功標志著在移動IP網管領域，東信金通基于Sybase IQ的網管管理軟件在全國成為第一家能夠滿足移動要求的支持海量數據存儲和業務管理發展需要的創新產品，具有非常強大的輻射影響力。

系統配置狀況

用戶生產系統的配置狀況如下:

服務器:Sun v890,12 CPU,32GMEM

存儲陣列:Sun 3510

數據庫軟件:Sybase IQ v12.6 For Sun Sparc 64bit

用戶評語

　　

項目一期實現了多個業務系統數據的實時裝載，小時分析，日分析; 響應時間也基本在可接受的范圍內。IQ突出的裝載性能，以及良好的查詢計算能力，給我留下了深刻印象。

東信金通據構架師 楊睿

從項目一期的結果來看，日裝載原始文本數據超過 80G，單表記錄超過7億行，用戶數據存儲量目前已經超過 2.6TB。在充分滿足查詢需求的基礎上，很好的控制了空間的膨脹，降低了存儲代價

文章來源于領測軟件測試網 http://www.kjueaiud.com/