測試手段之探索性測試(6)(3)

　　這里的結論是：ET在嚴重程度較小的上面有比較大的優勢，其他無較大差別。

　　(3) 錯誤bug的報告

　　這里的結論是：相比較ST而言，ET報告了較少的錯誤bug。

　　看到了如上的結果，我想我們很多人都會有很多問題，研究者也想到了以下問題：

　　問題一：已經寫好了的測試用例是怎樣影響發現bug的數量呢?

　　之前說的條件，還有個重要的條件，細心的人肯定可以看出，那就是做ST的那些實驗者花了7個小時用在編寫測試用例上面了，而做ET的實驗者根本沒有花時間在這上面，這可以看出，當沒有時間寫測試用例的時候，ET明顯更高效。

　　問題二：已經寫好了的測試用例是怎樣影響發現bug的類型呢?

　　我們已經從3個維度(嚴重程度，類型，發現難度)來說明了，認為測試人員不需要測試用例就可以發現很多User interface和Usability 相關的問題，但考慮到嚴重程度，測試人員不需要測試用例會發現嚴重程度較低的問題。

　　盡管我們得到了這些結果，但仍然有其局限性，實驗者的測試經驗會影響其測試用例的質量和做ET測試執行時候的質量。

　　以上我們可以看到僅僅關注與測試設計技術并不能覆蓋很多重要的方面，而這些方面只有在手工測試執行的時候發現的。還有一個方面就是ET方法更能提高測試人員在測試執行的時候的創造性和能力。

　　本人使用Freestyle ET方法實踐了2個項目，其數據還是比較匹配上面的結果的，只是個人認為在Wrong function 的bug類型上面ET反而會發現較少的bug，而不是更多。還有就是誤報bug 這方面，個人認為ET之后會產出很多疑問而并非是bug，只是嫌疑bug，而需要與相關的人進行確認，這樣就會減少誤報率(詳見ET項目實踐結果分析)。

　　參考Juha ltkonen, Mika V. Mantyla and Casper Lassenius 《Defect Detection Efficiency: Test Case Based vs. Exploratory Testing》

原文轉自：http://www.kjueaiud.com