為了測試一款軟件,我們可能根據不同的需求點要使用很多不同的測試環境。有些測試環境我們是可以搭建的,有些環境我們無法搭建或者搭建成本很高。不管如何,我們的目標是測試軟件問題,保證軟件質量。測試環境問題,還是根據具體產品以及開發者的實際情況而采取最經濟的方式吧。
測試執行
測試執行過程又可以分為以下階段:
單元測試→集成測試→系統測試→出廠測試,其中每個階段還有回歸測試等。
從測試的角度而言,測試執行包括一個量和度的問題。也就是測試范圍和測試程度的問題。 比如一個版本需要測試哪些方面?每個方面要測試到什么程度?
從管理的角度而言,在有限的時間內,在人員有限甚至短缺的情況下,要考慮如何分工,如何合理地利用資源來開展測試。當然還要考慮以下問題:
1. 當測試人員測試的執行不到位、敷衍了事時該如何解決?
2. 測試效率問題,怎樣提高測試效率?
3. 根據版本的不同特點是只做驗證測試還是采取冒煙測試亦或是系統全面測試?
4. 當測試過程中遇到一些偶然性隨機問題該怎樣處理?
5. 當版本中出現很多新問題時該怎樣對待?測試停止標準?
6. ……
總之,測試執行過程中會遇到很多復雜的問題,還是那句話,具體問題具體解決!本文不做過多闡述。
測試記錄
缺陷記錄總的說來包括兩方面:由誰提交和缺陷描述。
一般而言,缺陷都是誰測試誰提交,當然有些公司可能為了保證所提交缺陷的質量,還會在提交前進行缺陷評估,以確保所提交的缺陷的準確性。
在缺陷的描述上,至少要包括以下一些方面內容:
序號
標題
預置條件
操作步驟
預期結果
實際結果
注釋
嚴重程度
概率
版本
測試者
測試日期
以上是描述一個bug時通常所要描述的內容,當然在實際提交bug時可以根據實際情況進行補充,如附上圖片、log文件等。
另外,一個版本軟件測試完畢,還要根據測試情況出份測試報告,這也是所要經過的一個環節。
缺陷管理
缺陷管理方面,很多公司都采取缺陷管理工具來進行管理,常見缺陷管理工具有Test Director、Bugfree等。
下圖是一個bug從提出到close所經過的一些流程,其他比如keep No action\keep spec等一些狀態流程都未包含在內,在此僅做示范說明。
注:軟件缺陷和bug兩者在含義上有著細微差別,本文統稱缺陷。
軟件評估
這里評估指軟件經過一輪又一輪測試后,確認軟件無重大問題或者問題很少的情況下,對準備發給客戶的軟件進行評估,以確定是否能夠發行給客戶或投放市場。
軟件評估小組一般由項目負責人、營銷人員、部門經理等組成,也可能是由客戶指定的第三方人員組成。
每個版本有每個版本的測試總結,每個階段有每個階段的測試總結,當項目完成RTM后,一般要對整個項目做個回顧總結,看有哪些做的不足的地方,有哪些經驗可以對今后的測試工作做借鑒使用,等等。測試總結無嚴格格式、字數限制。應該說,測試總結還是很總要的。
測試維護
由于測試的不完全性,當軟件正式release后,客戶在使用過程中,難免遇到一些問題,有的甚至是嚴重性的問題,這就需要修改有關問題,修改后需要再次對軟件進行測試、評估、發行。
三、編制測試用例
著重介紹一些編制測試用例的具體做法。
1、測試用例文檔
編寫測試用例文檔應有文檔模板,須符合內部的規范要求。測試用例文檔將受制于測試用例管理軟件的約束。
軟件產品或軟件開發項目的測試用例一般以該產品的軟件模塊或子系統為單位,形成一個測試用例文檔,但并不是絕對的。
測試用例文檔由簡介和測試用例兩部分組成。簡介部分編制了測試目的、測試范圍、定義術語、參考文檔、概述等。測試用例部分逐一列示各測試用例。每個具體測試用例都將包括下列詳細信息:用例編號、用例名稱、測試等級、入口準則、驗證步驟、期望結果(含判斷標準)、出口準則、注釋等。以上內容涵蓋了測試用例的基本元素:測試索引,測試環境,測試輸入,測試操作,預期結果,評價標準。
2、測試用例的設置
我們早期的測試用例是按功能設置用例。后來引進了路徑分析法,按路徑設置用例。目前演變為按功能、路徑混合模式設置用例。
按功能測試是最簡捷的,按用例規約遍歷測試每一功能。
對于復雜操作的程序模塊,其各功能的實施是相互影響、緊密相關、環環相扣的,可以演變出數量繁多的變化。沒有嚴密的邏輯分析,產生遺漏是在所難免。路徑分析是一個很好的方法,其最大的優點是在于可以避免漏測試。
但路徑分析法也有局限性。在一個非常簡單字典維護模塊就存在十余條路徑。一個復雜的模塊會有幾十到上百條路徑是不足為奇的。筆者以為這是路徑分析比較合適的使用規模。若一個子系統有十余個或更多的模塊,這些模塊相互有關聯。再采用路徑分析法,其路徑數量成幾何級增長,達5位數或更多,就無法使用了。那么子系統模塊間的測試路徑或測試用例還是要靠傳統方法來解決。這是按功能、路徑混合模式設置用例的由來。
3、設計測試用例
測試用例可以分為基本事件、備選事件和異常事件。設計基本事件的用例,應該參照用例規約(或設計規格說明書),根據關聯的功能、操作按路徑分析法設計測試用例。而對孤立的功能則直接按功能設計測試用例?;臼录臏y試用例應包含所有需要實現的需求功能,覆蓋率達100%。
設計備選事件和異常事件的用例,則要復雜和困難得多。例如,字典的代碼是唯一的,不允許重復。測試需要驗證:字典新增程序中已存在有關字典代碼的約束,若出現代碼重復必須報錯,并且報錯文字正確。往往在設計編碼階段形成的文檔對備選事件和異常事件分析描述不夠詳盡。而測試本身則要求驗證全部非基本事件,并同時盡量發現其中的軟件缺陷。
可以采用軟件測試常用的基本方法:等價類劃分法、邊界值分析法、錯誤推測法、因果圖法、邏輯覆蓋法等設計測試用例。視軟件的不同性質采用不同的方法。如何靈活運用各種基本方法來設計完整的測試用例,并最終實現暴露隱藏的缺陷,全憑測試設計人員的豐富經驗和精心設計。
四、測試用例在軟件測試中的作用
1、指導測試的實施
測試用例主要適用于集成測試、系統測試和回歸測試。在實施測試時測試用例作為測試的標準,測試人員一定要按照測試用例嚴格按用例項目和測試步驟逐一實施測試。并對測試情況記錄在測試用例管理軟件中,以便自動生成測試結果文檔。
根據測試用例的測試等級,集成測試應測試那些用例,系統測試和回歸測試又該測試那些用例,在設計測試用例時都已作明確規定,實施測試時測試人員不能隨意作變動。
2、規劃測試數據的準備
在我們的實踐中測試數據是與測試用例分離的。按照測試用例配套準備一組或若干組測試原始數據,以及標準測試結果。尤其象測試報表之類數據集的正確性,按照測試用例規劃準備測試數據是十分必須的。
除正常數據之外,還必須根據測試用例設計大量邊緣數據和錯誤數據。
3、編寫測試腳本的"設計規格說明書"
為提高測試效率,軟件測試已大力發展自動測試。自動測試的中心任務是編寫測試腳本。如果說軟件工程中軟件編程必須有設計規格說明書,那么測試腳本的設計規格說明書就是測試用例。
4、評估測試結果的度量基準
完成測試實施后需要對測試結果進行評估,并且編制測試報告。判斷軟件測試是否完成、衡量測試質量需要一些量化的結果。例:測試覆蓋率是多少、測試合格率是多少、重要測試合格率是多少,等等。以前統計基準是軟件模塊或功能點,顯得過于粗糙。采用測試用例作度量基準更加準確、有效。
5、分析缺陷的標準
通過收集缺陷,對比測試用例和缺陷數據庫,分析確證是漏測還是缺陷復現。漏測反映了測試用例的不完善,應立即補充相應測試用例,最終達到逐步完善軟件質量。而已有相應測試用例,則反映實施測試或變更處理存在問題。
五、相關問題
1、測試用例的評審
測試用例是軟件測試的準則,但它并不是一經編制完成就成為準則。測試用例在設計編制過程中要組織同級互查。完成編制后應組織專家評審,需獲得通過才可以使用。評審委員會可由項目負責人、測試、編程、分析設計等有關人員組成,也可邀請客戶代表參加。
2、測試用例的修改更新
測試用例在形成文檔后也還需要不斷完善。主要來自三方面的緣故:第一、在測試過程中發現設計測試用例時考慮不周,需要完善;第二、在軟件交付使用后反饋的軟件缺陷,而缺陷又是因測試用例存在漏洞造成;第三、軟件自身的新增功能以及軟件版本的更新,測試用例也必須配套修改更新。
一般小的修改完善可在原測試用例文檔上修改,但文檔要有更改記錄。軟件的版本升級更新,測試用例一般也應隨之編制升級更新版本。
3、測試用例的管理軟件
運用測試用例還需配備測試用例管理軟件。它的主要功能有三個:第一、能將測試用例文檔的關鍵內容,如編號、名稱等等自動導入管理數據庫,形成與測試用例文檔完全對應的記錄;第二、可供測試實施時及時輸入測試情況;第三、最終實現自動生成測試結果文檔,包含各測試度量值,測試覆蓋表和測試通過或不通過的測試用例清單列表。
有了管理軟件,測試人員無論是編寫每日的測試工作日志、還是出軟件測試報告,都會變得輕而易舉。