自動化軟件測試ROI分析——第一部分 自動化測試系統1. 介紹
很多領導將自動化測試視為銀彈。他們認為自動化測試能解決諸如測試規劃、測試成本、缺陷報告等很多問題。自動化測試在很多方面會帶來積極的效果，并且已經有很多成功的案例能使人們認為自動化測試能節省成本和解決一些測試方面的問題。但是，同樣存在很多恐怖的故事，失望大于期望、過程的痛苦，甚至出現在某些獲得了收益的案例里。我就曾經遇到過很多自動化測試項目最終不幸失敗的案例。這些項目進行了巨大的投入，最終都舍棄了花費數年的時間開發出來的自動化測試成果。
本文的目的就是基于有實際意義的指導，使人們能夠理解和計算進行自動化測試工作所需的投入和可能獲得的回報。它描述了在建設自動化測試的過程中將會遇到的諸如商務、組織和管理、以及測試工作方面的影響。
在規劃自動化測試的時候，要從多方面來考慮。例如，自動化測試將會改變測試的復雜性，也將會改變從測試設計到測試運行的測試組織和管理方法。它通常在組織管理方面帶來廣泛的影響，諸如任務執行、測試方法、甚至在產品的特性上。
在考慮自動化測試的收益和能力上，我們可以將影響因素分為有形的和無形的兩類。
在自動化測試的前后可以用現有的測量技術（例如代碼覆蓋分析）來評估和計算測試的效果。自動化測試可以達到非常有效的程度，可以增加代碼覆蓋的程度，可以提供一個新的角度來觀察被測軟件。同時，自動化測試為我們提供了一種手工測試無法實現某些特定測試的解決途徑。自動化測試可以產生無數的指令和組合方式，僅僅受限于電腦的能力和可用來運行測試的時間而已。這些測試可以在覆蓋了100%的代碼基礎上去發現缺陷。自動化的探針程序可以看到程序的內部，諸如中間處理的結果、內存中的數據、內部程序的狀態，從而能判斷被測軟件是否能完成期望的功能。
2. 管理的觀點
我們需要在多個方面設置管理上的期望值：無形成本和收益、不切實際的收益期望、手工測試和自動化測試的共同因素、組織的影響。我們也要注意測量和計算的方法。
無形成本是非常難于合理的計算的。在可衡量它們的點上，當我們確定它們的財務上的價值時會存在很大的變數。在衡量自動化測試能帶來多大的改變時也很難計算實際的數值。通常情況下，有的無形成本是絕對的，有時是相對的，但是絕大部分是無法區分的，這要取決于一個人的觀點和處理的方式�；谶@個理解，建議在大多數的案例中，盡量將這些無形成本從投入回報比的計算中省去。
一些無形成本的例子：
1） 無用戶干預的測試。盡管人的成本很容易計算，但是附加的計算機控制行為的成本是很難量化的。
2） 測試機構的經過改良的方法。這一點通常能提高生產力，但隨之而來的是自動化測試所需的新規則和新任務。
3） 測試機構的可觀察到的驟然生產力的降低。這個觀察一般基于測試工作啟動后人員開始逐漸增加時出現了停滯的現象，安裝測試工具和創建自動化測試腳本的延遲。
4） 并非所有測試組里的人都期望改變。自動化測試會迫使個人習慣產生很大的改變，甚至某些測試人員在仍需繼續執行手工測試時，還得進行自動化測試。
5） 發布前軟件產品測試循環的次數。自動化測試能對產品的構建（Build）進行快速確認，并能鼓舞人們多次使用。但是往復循環雖然能提高生產力和提高質量，也可能導致人員的懶散、關注力逐漸降低、和質量逐漸降低的情況。
6） 測試覆蓋率。既能增加測試覆蓋率，也可能反之，主要取決于手工測試的效率，自動化的測試工具，和自動化的測試。
a) 某些測試只能用自動化測試來實現
b) 測試覆蓋率改變的數值難于測量
c) 好的探索性的測試或許比一般的自動化測試更能發現一些不同尋常的情況
d) 手工測試可能使得某些情況或者環境難于進行自動化
文章來源于領測軟件測試網 http://www.kjueaiud.com/
