1 引言
1.1 編寫目的 本文檔明確性能測試分析報告的評審行為,明確評審過程中使用的各項指標,使性能測試分析報告評審相關人員能夠依據此規范檢查性能測試分析報告的內容填寫是否符合模版要求,檢查性能測試分析報告是否正確反映了性能測試的完整過程,檢查性能測試分析報告是否符合本規范中規定的質量標準。
1.2 適用范圍
- 性能檢測測試分析報告評審
- 性能診斷測試分析報告評審
- 性能調優測試分析報告評審
- 容量規劃測試分析報告評審
1.3 預期讀者 參與性能測試分析報告評審的各方面人員,包括:
- 測試管理部測試經理
- 技術測試部技術測試經理、技術測試分析師、技術測試工程師
- 項目(群)組項目經理、技術經理及其他相關人員
- 業務部門相關人員
- 數據中心相關人員
1.4 參考資料
- 《信息技術管理部測試管理辦法》
- 《信息技術管理部性能測試規程》
2 與評審規程的關系
在評審規程中規定性能測試分析報告的評審過程和具體活動,包括評審內容的準備、評審會議的召集、評審會議、評審結果的發布、評審結果的跟蹤。
本規范為評審規程中的具體活動提供可依據的方法、判斷標準以及相關模版。
3 標準與模版
3.1 活動:評審內容的準備 3.1.1準入標準 性能測試計劃中的任務完成率=100%,包括所有開發任務、所有執行任務、所有分析任務
3.1.2準出標準 性能測試分析報告經過技術測試經理審核并簽字
性能測試相關所有文檔已經放置于可供獲取的位置,包括性能測試計劃、性能測試方案、性能測試場景/腳本、數據文件、執行日志、性能測試分析報告。
3.1.3模版 N/A
3.2 活動:評審會議的召集
3.2.1準入標準
3.2.2準出標準 會議召集通知書已經發送給所有相關評審方,包括:被測應用系統所屬項目(群)組、業務部門、數據中心、測試管理部、技術測試部、業務測試部。
性能測試分析報告和所有相關文檔同時隨會議召集通知書發送給了所有相關評審方。
3.2.3模版 名稱:《性能測試分析報告評審會議通知書》。
內容:
- 發送信息,應包括姓名、Email、座機、手機、角色、所屬部門
- 項目(群)組名稱
- 會議召集時間
- 會議持續時間
- 會議地點
- 參加人員和角色及部門名稱
- 主持人和角色及部門名稱
- 記錄人和角色及部門名稱
- 會議議程
- 期望達成目標
- 附件名稱及簡要說明
- 初審意見
3.3 活動:評審會議
3.3.1準入標準
- 所有與會人員準時到場(現場/或視頻)
- 所有與會人員已經預先審閱了性能測試分析報告及相關文檔
- 所有與會人員已經在《性能測試分析報告評審會議通知書》中填寫了初審意見并發送給會議主持人
- 會議主持人已組織性能測試實施人員對各方與會人員的初審意見進行了匯總和分析
3.3.2準出標準
- 性能測試背景評審完成
- 性能測試需求評審完成
o 性能測試需求應明確表明本次性能測試的類型,應為性能檢測測試、性能診斷測試、性能調優測試或者容量規劃測試 o 性能測試需求中應具備明確的性能測試范圍
- 性能測試目標評審完成
o 性能測試目標中應具備期望達到的明確的響應時間指標 o 性能測試目標中應具備期望達到的明確的處理能力指標 o 性能測試目標中應具備期望達到的明確的資源利用率指標 o 性能測試目標中應具備期望達到的明確的穩定性測試時間長度指標以及交易成功率指標 o 性能測試目標中應對響應時間和處理能力指標進行明確的定義
- 性能測試模型評審完成
- 性能測試模型中應具備明確的測試場景名稱以及使用該場景的原因說明
- 測試場景中應具備明確的虛擬用戶名稱、數量/百分比、思考時間(ThinkTime)、檢查點、測試數據說明
- 測試場景應具備明確的測試環境說明,包括應用版本、網絡架構、應用技術架構、服務器硬件設備信息、應用平臺的版本和關鍵參數設置信息
- 測試場景應具備明確的被測應用系統基礎數據信息,包括基礎數據量、類型(模擬數據/生產數據)
- 性能測試過程評審完成
- 性能測試過程包含了性能測試規程中規定的所有不可裁減的測試任務
- 每項測試任務應具備明確的測試方法說明
- 每項測試任務應具備明確的狀態(完成/未完成)
- 若某項測試任務未完成,則該項測試任務應具備明確的未完成原因以及解決方法說明
- 性能測試單項任務數據分析評審完成
- 每個單項任務應具備明確的測試目的
- 每個單項任務應具備明確的測試數據分析
- 性能測試結論評審完成
- 每個性能測試目標應具備至少一條結論
- 每條結論應針對一個具體的性能測試目標
- 性能測試缺陷評審完成
- 所有已發現缺陷都具備了明確的狀態(已解決/未解決)
- 所有遺留缺陷都具備了明確的追蹤解決方案(監督責任人、期望解決結果、期望解決時間、解決方法、解決責任人)
- 性能測試分析報告評審完成
- 所有與會各方人員簽字認可評審結果
- 若有一方人員未到場,此次評審視為無效。評審會議結束后,將會議記錄與會議結論發送給缺席方人員進行離線評審。
- 獲得缺席方離線評審意見后,修訂評審結果,此次評審方可視為有效。
3.3.3模版
名稱:《性能測試分析報告評審報告》
內容:
- 項目(群)組名稱
- 會議召集時間
- 會議地點
- 與會人員、角色及部門名稱
- 主持人員、角色及部門名稱
- 記錄人員、角色及部門名稱
- 性能測試背景評審結果:通過/不通過
- 性能測試需求評審結果:通過/不通過
- 性能測試目標評審結果:通過/不通過
- 性能測試模型評審結果:通過/不通過
- 性能測試過程評審結果:通過/不通過
- 性能測試單項任務數據分析評審結果:通過/不通過
- 性能測試結論評審結果:通過/不通過
- 性能測試缺陷評審結果:通過/不通過
- 性能測試分析報告評審結果:通過/不通過
- 性能測試評審會議有效性:有效/無效
- 參與各方人員簽字
3.4 活動:評審結果的發布
3.4.1準入標準
- 性能測試評審會議有效性:有效
- 性能測試分析報告:通過
3.4.2準出標準
- 性能測試分析報告評審報告已經發送給所有相關各方,應包括:項目實施管理條線、業務IT管理條線、相關業務部門、數據中心、項目(群)組、測試管理部、技術測試部、業務測試部等
- 性能測試分析報告評審報告由技術測試部備案
3.4.3模版 N/A
3.5 活動:評審結果的跟蹤
3.5.1準入標準
性能測試分析報告中的所有遺留缺陷都具備了明確的追蹤解決方案(監督責任人、期望解決結果、期望解決時間、解決方法、解決責任人) |