軟件測試領域中有待解決的難題們

  最近人們談到測試，常常會聽到：測試其實很復雜，所以很有前途。但具體怎么復雜卻不盡其詳。我覺得這篇我在微軟內部測試架構師站點里讀到的，Jim Moore 關于測試領域中有待解決的難題的文章很有啟發。讀過之后，靜心想想，技術含量如何？好像蠻高的？呵呵，也許吧。這其中有些在微軟已經解決了，有些卻也是沒有解決的。 突然發現，測試技術對一個公司來說好像還蠻秘密的，微軟很多內部測試工具測試框架都不產品化，雖然那些工具看起來是可以普遍運用到業界的。
 
       <<翻譯開始了>>
       難題可以分為這么些類別：

質量衡量標準 (標尺)

       可清晰量化的衡量產品質量 
       測試覆蓋率-代碼塊覆蓋,功能覆蓋,用例覆蓋.... 這么多覆蓋率,每個覆蓋率,合理的目標是多少? 50%? 80% 100% 
       按照找到的缺陷數目,多少是被用戶找到的,多少是被內部非測試團隊找到的,多少是被測試團隊找到的,以此為衡量質量的標尺之一? 
       重復發生的回歸性缺陷數目  
       補丁和Service package數量,來衡量質量  
       我們有這么多可以用來衡量質量的標準,那么,哪些應該是核心的標準,最重要的普遍標準.怎么把各個標準和質量關聯上? 
       制定發布的質量指標,怎樣才是正確的指標,可以指導我們決定發布還是延遲發布產品直到我們達到該指標. 
       怎么定義測試效率?包括怎么衡量s變化對測試的影響.. 
       怎么定義測試"完成"了?

         復雜領域產品測試:

         音頻和視頻質量測試 
         "看起來效果對嗎?" 
         "聽起來效果對嗎?" 
         效果"好"嗎? 
         各種主觀類型的測試判斷

         測試工具對系統本身的影響(測不準原理?):

         性能測試工具本身對機器性能的影響所導致的測不準效果.

         測試要素的各種組合(測試范圍龐大):

         測試要素組合, 覆蓋各種可能組合,將變得龐大: 操作系統 vs. 調試/發布 vs. 硬件配置 vs. 各種語言 vs. etc. vs. etc. 
         無窮無盡的用戶可能輸入. 
         有時間相關性的產品的測試.各種時間可能的窮舉是無限的.

整個產品范圍測試中的問題

         整個產品的壓力測試  
         這個產品性能測試 vs. 各個開發組對自己模塊所作的性能測試 
        集成測試.

原文轉自：http://www.kjueaiud.com