心中有數,才能做到游刃有余。對于服務器廠商來說,如何了解自己的產品性能,又如何做到理性地向用戶說明自己提供的服務器乃至調優過的整個軟硬件系統能達到相對較高的性能,最直觀的考量標準就是Benchmark,即服務器工業標準基準測試。其中,業界最常用也最普及的就是TPC和SPEC兩大基準。
SPEC測試用來全面衡量Web應用中Java企業應用服務器性能,而TPC測試體系則注重在線處理能力和數據庫查詢能力。如果說SPEC測試針對的是服務器硬件,則TPC測試針對的是一整套系統,它體現著服務器廠商在高端關鍵領域的方案開發和優化能力,因此,對高端用戶選型整套系統來說,TPC測試無疑更具參考價值。
告別“富人的游戲”
TPC-E測試是TPC組織于去年3月最新推出的測試基準,也是目前服務器場廠商參與熱情最高的測試基準。認識TPC-E,還需要先熟悉一下它將逐步取代的前代基準——有著14年歷史的TPC-C,它們針對的都是OLTP(聯機事務處理)測試模型。
TPC-C是業界最為流行的測試基準之一,但同時也是遭遇詬病最多的基準之一。TPC-C測試模擬了比較復雜的OLTP應用環境,模型就是批發商的系統訂單處理,其操作環境由一系列倉庫組成,每個倉庫有若干個終端,分別代表銷售站點和查詢站點,由TPC-C測試系統執行3種前臺交易和2類后臺事務處理,并給出兩個基準測試指標——性能指標tpmC和性價比指標美元/tpmC。
由于TPC-C逼真地模擬了OLTP應用,在發布后逐漸得到廣大用戶的認可,使用tpmC作為其計算機系統性能評價體系基礎的用戶數量逐年上升。然而弊端也逐漸暴露出來,在14年中,B2B、B2C等新型應用已逐漸興起,TPC-C現有的倉庫管理系統測試模型距離目前的OLTP用戶應用模式越來越遠,5種事務處理不足以覆蓋用戶現有的典型操作。更遭受質疑的是,為了追求高分,服務器廠商不得不在調優方式上增加了大量磁盤,硬件成本的急劇攀升給廠商帶來了很大壓力。動輒數百萬美元并非是每個服務器廠商都有經濟實力去參與的,而且對用戶的參考價值也越來越小,因此被評價為“富人的游戲”。
TPC-E問世改變了這一現狀,廠商參與的熱情重新高漲起來。據浪潮服務器方案技術經理喬鑫介紹,做TPC測試的費用是由兩部分組成的,一部分是交給TPC組織及其審核機構的固定費用,另一部分就是測試本身的硬件成本。固定成本并沒有什么差別,差別在于硬件成本的節省。粗略計算,用于TPC-E測試的硬件投入約為TPC-C測試硬件投入的1/3左右!癟PC-C排行榜上的前幾名都需要6000多塊硬盤,而我們目前提交的TPC-E測試只需要幾百塊就夠了!倍硗庖粋原因則是TPC將提供軟件的源代碼,取代了要求測試人員自己編寫代碼。
那么,TPC-E測試模型對實際業務的考量價值有多大呢?喬鑫介紹說,TPC-E在測試模型上進行了巨大革新與改進,更加強調模型的高仿真性。它是以美國紐約證券交易所為模型的,模型架構完成了從C/S架構到B/S架構的過渡,是典型的互聯網時代OLTP性能測試基準。TPC-E模擬了一系列后端處理數據以及證券公司前端客戶在股票交易市場的典型行為——賬戶查詢、在線交易和市場調研,模擬證券公司也與外界金融市場相聯系,根據市場變化執行指令并更新相關賬戶和市場信息。它不僅包含了B2C環境,還包含了B2B環境,這種商業模型更容易理解,同時更貼近現有用戶的應用。
針對以上模型,TPC-E建立了比TPC-C更為復雜的數據庫表結構,事務類型也增加到了12種,雖然TPC-E使用了更多的表結構及事務,但由于TPC-E更新了存儲的過程和方式,減少了對磁盤I/O的利用,降低了系統對磁盤數目的要求。使用同一數據庫服務器,TPC-E相比TPC-C可以減少2/3的硬盤數目,這對于降低參加測試系統的整體費用意義重大。
文章來源于領測軟件測試網 http://www.kjueaiud.com/