感受最深的是SEI嚴謹、科學的工作方法。
一、 評估的基本方法介紹
評估的基本要求在于根據標準對過程進行評價，這個過程涉及的基本方法是驗證、確認組織是否達到了了標準要求。
1、 評估的過程
|
序號 |
過程 |
說明 |
|
1.1 |
Analyze Requirements |
分析需求 |
|
1.2 |
Develop Appraisal Plan |
制定計劃 |
|
1.3 |
Select and Prepare Team |
選擇和準備評估小組 |
|
1.4 |
Obtain and Analyze Initial Objective Evidence |
獲得和分析初始證據 |
|
1.5 |
Prepare for Collection of Objective Evidence |
準備證據收集 |
|
2.1 |
Examine Objective Evidence |
調研證據 |
|
2.2 |
Verify and Validate Objective Evidence |
驗證和確認證據 |
|
2.3 |
Document Objective Evidence |
記錄證據 |
|
2.4 |
Generate Appraisal Results |
產生評估報告 |
|
3.1 |
Deliver Appraisal Results |
發布評估報告 |
|
3.2 |
Package and Archive Appraisal Assets |
評估材料整理 |
|
活動內容 |
責任者 |
說明 |
|
執行過程的信息提供 |
組織執行過程的人員 |
向評估小組提供各類信息、證據 |
|
筆記記錄 |
評估小組 |
通過有效手段收集信息 |
|
觀察項（Observation）確認 |
評估小組 |
整理、確認證據，形成有效證據 |
|
PA/KPA結論 |
評估小組 |
在證據基礎上形成對PA/KPA的結論 |
|
評估結論 |
評估小組 |
根據PA/KPA的結論形成最終結論 |
有如下幾點要求：
|
序號 |
內容 |
|
1 |
評估領導者為SEI認可的主任評估師，評估結果才能被SEI認可 |
|
2 |
在評估小組中，被評估組織織少有一人參與 |
|
3 |
評估小組至少四人，最多九人 |
|
4 |
工程經驗：整個小組在所有相關工程領域必須有平均六年的經驗，總共25年的經驗 |
|
5 |
管理經驗：整個小組總共至少有十年管理經驗，至少有一個有六年管理經驗 |
|
6 |
被評估組織過程的相關領域，至少有兩位相關專家 |
|
7 |
評估小組成員不能是參加評估項目的管理者，或者參加評估人員的直接管理者 |
|
8 |
評估小組接收了評估培訓 |
評估主要獲取信息的對象是具體的項目，這些項目作為被評估的項目在評估前已經確定。計劃就按照已經確定的項目進行。整個評估過程中，變化最大的是訪談的安排，所以計劃安排的主要內容是訪談過程，其它過程SEI基本有嚴格要求。
訪談安排主要的依據：訪談對象安排，評估范圍。訪談計劃安排的模板如下：
|
KPA對象 |
RM |
SPP |
SPTO |
SQA |
SCM |
日程安排 |
|
項目經理1 |
3 |
1 |
2 |
3 |
3 |
一 |
|
開發人員 |
2 |
3 |
3 |
2 |
二 | |
|
項目經理2 |
2 |
2 |
1 |
3 |
二 | |
|
配置人員 |
1 |
3 |
3 |
1 |
三 | |
|
高級管理者 |
3 |
3 |
3 |
三 | ||
|
SQA人員 |
3 |
3 |
3 |
1 |
3 |
四 |
|
設計人員 |
3 |
3 |
四 | |||
|
說明 |
“1”表示收集全部證據、“2” 表示收集1/2證據、“3” 表示收集部分證據 | |||||
評估小組任務安排
|
KPA對象 |
RM |
SPP |
SPTO |
SQA |
SCM |
|
評估人員1 |
1 |
2 | |||
|
評估人員2 |
2 |
1 |
|||
|
評估人員3 |
2 |
1 |
|||
|
評估人員4 |
2 |
1 |
|||
|
評估人員5 |
2 |
1 | |||
|
評估人員6 |
2 |
2 |
2 | ||
|
評估人員7 |
2 |
2 |
2 |
||
|
說明 |
“1”表示主要負責，“2”表示參與進行 | ||||
評估工作的跟蹤主要是針對“觀察項”形成結論的情況來表示，有兩種不同的跟蹤表格。
KP為觀察項的跟蹤表格
|
KPAKP |
RM |
SPP |
SPTO |
SCM |
SQA |
|
CO1 |
0 |
1 |
2 |
2 |
2 |
|
。。。。 |
0 |
0 |
0 |
0 |
0 |
|
CO4 |
0 |
0 |
0 |
0 |
0 |
|
AB1 |
0 |
0 |
0 |
0 |
0 |
|
。。。。 |
0 |
0 |
0 |
0 |
0 |
|
AB5 |
0 |
0 |
0 |
0 |
0 |
|
AC1 |
1 |
0 |
0 |
2 |
0 |
|
。。。。 |
0 |
0 |
0 |
0 |
0 |
|
AC15 |
0 |
1 |
0 |
0 |
0 |
|
VE1 |
0 |
0 |
0 |
0 |
0 |
|
VE2 |
0 |
0 |
0 |
0 |
0 |
|
VE2 |
0 |
0 |
0 |
0 |
0 |
|
ME1 |
0 |
0 |
0 |
0 |
0 |
|
ME2 |
0 |
0 |
0 |
0 |
0 |
|
說明 |
“1”表示形成結論，“2”表示要進一步驗證，“0”沒有開始驗證 | ||||
目標為觀察項的跟蹤表格
|
KPAOB |
RM |
SPP |
SPTO |
SCM |
SQA |
|
OB1 |
0 |
1 |
2 |
2 |
2 |
|
OB2 |
0 |
0 |
0 |
0 |
0 |
|
OB3 |
0 |
0 |
0 |
0 |
0 |
|
OB4 |
0 |
0 |
0 |
0 |
0 |
|
說明 |
“1”表示形成結論，“2”表示要進一步驗證，“0”沒有開始驗證 | ||||
5、證據采集的基本方法
主要有如下幾種
|
序號 |
方法名稱 |
說明 |
|
1 |
訪談 |
評估小組通過和組織中相關過程執行者進行面對面的交流獲取信息 |
|
2 |
文檔檢查 |
檢查組織的過程文件賀執行過程中的文檔獲取信息 |
|
3 |
組織介紹 |
組織在給評估小組介紹組織情況中反映的信息 |
|
4 |
工具 |
提問單、調查表、標準對照表等工具提供的信息 |
其中訪談是其中的重點，有一些嚴格要求，具體要求如下
|
序號 |
要求 |
|
1 |
制定每個訪談的目的，計劃每次訪談過程 |
|
2 |
保密原則：訪談內容在訪談后不能向任何人透露 |
|
3 |
平等氣氛：被訪談者是提供證據的，必須被尊重 |
|
4 |
訪談內容應當進行記錄，評估小組會后要相互驗證記錄的準確性，完整性 |
|
5 |
確認信息和標準要求的相關性 |
6、證據確認方法
根據“觀察項”來收集證據，“觀察項”的證據收集有兩種：從“關鍵實踐”（KP）來收集，從“目標”（OBJECTIVE）來收集。
證據必須滿足一定的要求才能成立，見下表：
|
證據來源 |
是否有效 |
說明 | ||
|
執行過程描述（訪談） |
過程文件 |
執行產生的文檔 | ||
|
√ |
√ |
√ |
有效 |
可以驗證執行者所說 |
|
√ |
√ |
× |
有效 |
可以驗證執行者所說 |
|
√ |
× |
√ |
有效 |
可以驗證執行者所說 |
|
√ |
× |
× |
無效 |
無法驗證執行者所說 |
|
× |
√ |
√ |
無效 |
缺少執行者說明過程執行 |
|
× |
√ |
× |
無效 |
缺少執行者說明過程執行 |
|
× |
× |
√ |
無效 |
缺少執行者說明過程執行 |
|
× |
× |
× |
無效 |
缺少執行者說明過程執行 |
7、形成結論的基本方法
|
序號 |
結論對象 |
結論提出者 |
可選結論 |
|
1 |
觀察項（關鍵實踐） |
評小組表決 |
好、不滿足、替代 |
|
2 |
目標 |
評小組表決 |
滿足、不滿足 |
|
3 |
關鍵過程域 |
評小組表決 |
達到、未達到、不相關、未評估 |
|
4 |
成熟度等級 |
評小組表決 |
達到、未達到 |
|
5 |
最終結論 |
評小組表決 |
達到成熟等級 |
8、最終結論的內容
|
序號 |
內容 |
說明 |
|
1 |
度量數據 |
參加評估項目數量、參加評估人員數量、評估小組、檢查文檔數量等 |
|
2 |
KPA評價 |
強項、弱項；沒有弱項表示達到了CMM標準的要求 |
|
3 |
成熟度等級 |
達到了的等級（2、3、4、5） |
|
4 |
建議 |
過程改進建議，用于被評估組織制定改進的行動計劃 |
|
5 |
NO CMM |
提供一些從被評估組織收集到的，非CMM相關內容的信息 |
二、個人的一些經驗
預評估后、正式評估前要制定完善的行動計劃，這個計劃一定要基于預評估的結果。即根據預評估結果確定問題域，根據問題域確定行動方案。
評估前安排“評估倒計時”，讓大家感受到評估日益臨近，這樣有利于全面準備評估工作，營造全員參與的氣氛。
評估前要將評估的日程表提前發給參與評估的人員，便于它們為參加]評估安排時間。
評估中安排好后勤工作，例如會議室準備、白板、紙張、待審文檔、飲食茶水等，營造一個愉快的評估環境。
評估小組一般要填寫大量文檔、報告，應當在評估室準備較多的白紙、筆記本、打印機。在進行訪談的時候，一定要聽清楚問題，沒有搞清楚是什么問題，一定要向提問者咨詢。
文章來源于領測軟件測試網 http://www.kjueaiud.com/
