圖1 某項目針對關鍵因子一的告警處理流量試驗數據圖
圖2 某項目修改了協議參數后的告警處理吞吐率圖
二、主觀判斷的結果有說服力嗎?
這個案例是黑帶項目《降低異常代碼故障率》，它從CQ分析的主要故障類型之一：異常代碼故障率居高不下而來，這體現出負責人主動從失誤中學習和進步的精神，也給很多仍然為找不到合適項目的同事一個啟示：CQ庫是一個很方便的項目寶庫。
此項目對于故障分類的測量系統分析，是離散數據做測量系統分析的典型。在研發過程中，我們經常遇到“只可意會不可言傳”的情形，大家都是主觀判斷“拍腦袋”，這樣的分析如何具有說服力?主觀判斷不等于拍腦袋，這個項目可以作為參考，感覺上的東西通過制定一定的準則，能夠將大家的主觀判斷達到基本一致和準確的標準。以下摘自此項目負責人的總結文章：
在確定了故障的分類規則后，對于故障進行分類，對于同一個故障不同的研發人員分類可能出現不同的結果。出現這種問題可能是有兩個原因：(1)故障分類的標準還不夠明確，參加故障分類的研發人員對于故障理解不同。(2)參加故障分類的研發人員沒有能力按分類標準對故障進行分類。解決的辦法是在故障分類前進行測量系統分析，確認故障分類標準是否已經明確，參加分類故障的研發人員是否具備了故障分類能力。
對于故障分類進行的測量系統分析可采用離散測量系統分析。進行離散測量系統分析的基本步驟為：
1、 在需要分析的故障中隨機抽取30個故障。
2、 多個開發經理按故障分類標準共同確定每個故障的分類結果。(作為“真值”——本文作者)
3、 讓參加故障分類的研發人員按故障分類標準進行分類。(作為“測量值”——本文作者)
4、 一周后，讓參加故障分類的研發人員重新按故障分類。
5、 進行離散測量系統分析，確定故障分類的準確性、重復性和再現性。
如果通過測量系統分析，發現故障分類的重復性有問題，同一個研發人員對于同一個故障的判定結果不相同，則一般是研發人員自身素質的問題，采取的措施是需要加強對分類標準的學習。如果不同研發人員之間的再現性有問題，則一般是由于分類標準不明確造成，需要進一步明確分類標準。若重復性、再現性都符合要求通過，基本可以保證故障分類的標準定義是明確的，參加故障分類的研發人員的技能已經符合要求。
文章來源于領測軟件測試網 http://www.kjueaiud.com/
