Sybase IQ黑龍江移動綜合統計系統應用案例

領測軟件測試網

項目背景

黑龍江移動擁有黑龍江省移動通信市場最大的市場份額，隨著新BOSS項目的實施，商業智能問題也變得越來越重要了。

數據是黑龍江移動最有價值的企業資源之一，也是黑龍江移

動業務運營支撐系統BOSS的核心基礎，如何將數據資源在企業內部充分共享并最大化體現發揮其價值是目前黑龍江移動信息化建設中倍受關注的一個重點。

同時，隨著移動業務的迅猛發展和移動用戶的迅速增加，各類業務報表需求量一直呈上升趨勢，報表業務對BOSS系統的影響越來越大。因此，建設一個與BOSS系統相對分離的報表系統，快速地、體系化地滿足各類業務部門和相關系統的統計和分析需求已經勢在必行，它將是企業統一的基于運營數據服務應用的中間存儲層(ODS)。

定 義

BOSS: 業務運營支撐系統。

ETL: Extract Transform Load，抽取、轉換、裝載。

ODS: Operational Data Store，操作數據存儲。

系統目標

以運營數據為基礎，統計分析需求為驅動，建立綜合業務數據平臺，為業務統計分析提供運營數據和分析數據;

開發完成各類報表統計功能，包括移動公司上報集團公司報表，省中心內部管理的營帳報表，財務報表，香港公司報表，結算報表，數據業務報表，市場經營分析系統報表及一些臨時要求的報表;

建立完善的數據抽取、轉換、核對過程，提高數據的質量;

建立統一用戶管理和權限管理機制，保證系統的安全性;

通過技術手段以及管理流程的規范化，充分保證系統數據的一致性。

系統應能提供報表自動生成工具，提供靈活、準確、完善的報表。統計分析人員能夠根據相應的需求，依照相應的統計要素之間的邏輯關系，組合提取相關數據并編制各種統計、分析報表，并以報表、文件、餅圖、直方圖等多樣化的報表展示方式提供。統計管理結構為樹狀結構，每一層為一個統計級別，最高級別是省級，最低級別是營業員級。系統應支持不同級別業務人員的不同統計范圍。管理者可根據各自的需要動態獲取統計要素，生成正式的統計結果數據，并形成各種統計分析報表。

平臺和軟件

平臺部分

主機   IBM RS6000 P650 8×2GHz CPU/16GB Memory/135.5GB Disk

操作系統   IBM AIX 5.2 ML3

存儲   IBM 2105 F20(Shark)

軟件部分

數據倉庫產品   Sybase IQ

報表工具   COGNOS  JAVA.

IQ數據倉庫物理設計

IQ數據倉庫空間部署

現運行的IQ版報表系統數據空間是2.4T，臨時空間是1.2T，數據倉庫總空間為3.6T。

數據倉庫應用空間部分

IQ數據倉庫應用部分主要分三大部分:

原始數據部分(ETL子系統)

目前IQ數據倉庫的詳單是按6+1方式存放:

現計費每月詳單量是400G，

帳單及客戶資料等營帳數據量是150G，

由于IQ數據倉庫能將數據按一定比率進行壓縮保存，壓縮比率在50%左右，一個月所需原始數據空間在250G左右。

匯總數據部分(ODS子系統)

匯總層數據目前是按12+1方式存儲，每月匯總數據量是100G左右，壓縮后匯總數據空間在50G左右。

結果數據部分(應用子系統)

結果數據是永久保存，每月數據量在5G左右。

功能需求

功能劃分

黑龍江省綜合統計系統的邏輯結構如下圖所示:

如圖所示，系統邏輯結構分為四部分: ETL子系統、ODS子系統、報表應用子系統及元數據管理，從數據處理角度來看，系統完成以下過程: 從各生產系統中抽取業務數據，生成接口文件，通過數據清洗、轉換、加載，將數據倒入ODS中，生成各種業務明細數據; 通過用戶級匯總，將明細數據(如詳單等)進行匯總，并進行業務數據整合; 通過業務級匯總進行不同業務角度的匯總; 在用戶級匯總數據和業務級匯總數據的基礎上，根據具體報表需求，進行報表數據統計，結果保存，利用報表生成工具，進行報表靈活定制，并實現報表發布。

圖中的智能網神州行數據指神州行用戶基本信息、神州行用戶沖值信息、神州行用戶黑名單信息等數據，該部分數據保存在神州行系統中，需要華為公司給提供相關數據。

圖中的外部數據接口是指經營分析接口、MIS接口等。

功能描述

黑龍江報表系統的功能結構圖如下所示:

ETL子系統

ETL子系統負責從生產系統提取數據，并加載到ODS數據庫中。包括以下數個功能。

數據抽取功能

數據抽取功能主要完成從數據源中抽取數據倉庫需要的數據，滿足統計分析的需要。同時，將保證不影響業務系統的處理，實現報表系統與生產系統的分離。

由于詳單數據有相應的詳單數據文件，所以詳單數據的抽取比較簡單，就是用FTP的方式獲取相應的詳單文件。

營帳數據的抽取分為增量抽取和完全抽取兩種，能夠實現增量抽取的進行增量抽取，無法實現增量抽取的只能進行完全抽取。

數據轉換功能

數據轉換功能主要完成從業務系統中抽取的源數據根據數據倉庫系統模型的要求，進行數據的轉換、清洗、拆分、匯總等處理，保證來自不同系統、不同格式的數據的一致性和完整性，并按要求裝入數據倉庫。

如果報表庫和生產庫的數據庫環境不同，還需要根據數據庫的差別進行一些字段的轉換。

數據加載功能

數據加載功能主要完成將從業務系統中抽取、轉換后的數據加載到數據倉庫系統中。

報表系統中數據的加載是很重要的，對加載的性能要求很高，數據的加載操作必須準確及時的進行，否則后續的業務都無法進行。

數據審計功能

數據審計功能主要完成在每個數據加載周期中，保證數據倉庫系統中數據同數據源中數據業務意義上的一致性及數據的準確性。審計工作功能在數據抽取、轉換、加載等所有的階段都要進行。

錯誤處理功能

錯誤處理功能主要完成檢查數據獲取過程中出現的錯誤，并對錯誤信息進行分類提示，協助管理、技術人員及時對錯誤進行處理。

ODS子系統

ODS子系統負責存儲、管理及匯總業務數據，為報表子系統和其它外部應用提供數據。具有以下功能。

應用子系統

應用子系統負責進行報表統計、生成、發布及前端展示。根據業務及報表統計需求，包括上報集團公司報表、上市融資報表、移動業務統計報表、財務報表、經營分析報表等，并將統計結果保存在數據庫中，避免定制報表數據重復統計，提高報表查詢速度，并可保留報表歷史數據。充分利用前臺展示工具進行報表定制、發布及前端展示，實現高效及時的報表開發。

元數據管理

元數據管理涉及到數據倉庫構造、運行、維護的整個生命周期，包括業務元數據和技術元數據。系統利用先進的元數據管理工具在ETL、數據倉庫、數據集市、前端展現四個方面對元數據進行分別管理。

應用效果

在經過近五個月緊張的設計與實施工作后，黑龍江移動綜合統計系統上線，主要效果體現在以下幾點:

各分系統數據集中統一管理

現有綜合統計系統將各分系統的原始數據統一抽取到Sybase IQ數據倉庫中，為經營分析、MIS系統、綜合統計系統建設一完整的數據倉庫，使原來分散的數據源能夠統一到IQ數據倉庫，整合了數據源，完善了統計工作。

及時完成各類統計及報表分析

原系統的匯總及應用程序運行時間長，有的甚至需要運行十幾二十小時，在目前的Sybase IQ數據倉庫中，已將時間縮短到五分之一，甚至更多，一個月9億多記錄的詳單表，原程序需要運行二十小時，現在Sybase IQ數據倉庫中只需三個多小時就能完成全表的數據匯總，大大提高了統計效率，從而很好的保證了各類統計的時限要求。

高效率的加載、存儲和查詢

Sybase IQ數據倉庫的數據加載速度可達到每分鐘兩百萬，為后續作業節省了大量時間，在很短的時間就完成所有數據的加載。

IQ數據倉庫的數據存儲能將數據做一定比較的壓縮，也節省了很多存儲空間，降低了系統的建設成本。

IQ數據倉庫的查詢速度特別快，對千萬級的表做查詢，也是在秒數據級就能返回結果。

具有很好的兼容性和擴展性

Sybase IQ數據倉庫具體很的兼容性，對前端工具COGNOS，對JAVA等都能很好地集成應用。

對存儲空間的擴展也很好，不需要初化設備，保證了系統的穩定及將來應用發展需要。

客戶評價

　　

在黑龍江移動綜合統計系統上線后，黑龍江移動對目前系統的效果比較滿意，從各類統計的時間要求、高效的查詢速度、數據源的集中統一、后期的簡單維護等都達到系統建設目標。

　　

并且在下一期的黑龍江移動BOSS1.8的系統改造中將繼續使用Sybase IQ做為黑龍江合統計系統的數據倉庫。

文章來源于領測軟件測試網 http://www.kjueaiud.com/