發布處在整個研發流程非常關鍵的節點,在這個點可以做很多的控制,也能發現很多的問題,對于測試團隊來說,從這里可以發現很多的問題,做很多的提升,對自己和相關的合作團隊。
5. 外網的監控
發現發布后的問題,持續運營過程中的問題,推動優化。
通常監控可以分幾個層面,粗淺的可以分成幾類:
- 運維層面的監控,比如機器,鏈路,資源使用,主要組件是否正常等。
- 業務指標的監控,比如來自點擊率,BI系統等。
- 集成在產品里面的監控代碼,我們稱之為模塊調用監控。這個是全量的,有次數,成功率,響應時間等角度。
- 測試層面的自動化監控,關于在接口和功能層面。這個是采樣的,但是從用戶的角度來監控。
以上這些監控都有對應的告警機制,可以第一時間發現問題,避免造成更大的損失。為了實現上面的監控需要做大量的工作,但是這些對于整個外網運營的質量非常的重要。
6. 外網事故和問題的收集,跟進和反向推動
和前面的思路一樣,如果只是發現問題解決問題還是稍顯被動,那么對于外網事故和問題的分析,還是有很多推動性的幫助。
7. 用戶的問題反饋和滿意度
進一步的質量不只是系統本身的質量,而是從用戶角度看到的質量,有時候這個可能稍微超出一些系統層面的問題,但是因為最終的質量還是用戶說了算,所以我們應該擴展下思路。收集這樣的問題的渠道有很多
- 外網問題反饋,比如來自客服系統的,用戶直接的反饋,現在很多app上都有反饋的功能。
- 論壇信息的統計收集。我了解的另一個測試團隊,他們還專門開發了一個自動收集外部反饋,以及過濾分析的系統來幫助他們及時的了解外包的問題反饋。
8. 運營層面的質量
更進一步,關注運營方面的質量,跳出傳統意義的質量的范疇,關注我們的業務指標,不只是做一個高質量的產品,而是做一個業務上成功的產品。
比如下面這樣的例子:
- 商品詳情頁的圖片的質量
- 活動頁面和詳情頁面價格不一致的情況
- 運營配置的錯誤導致的問題,哪些是可以監控發現,哪些是可以推動運營平臺的規則檢查?
每次我們的思路跳出一些框框,都會有不同的領域。有點點哲學上的意味,很多領域做到后面,其實會超出那個領域本身的范疇。就好比高性能的汽車,到后面就不得不研究空氣動力學這個原本是和航空有關的東西。但是,這是否超出了本意,如果去看待,又是另一個問題。
其實這樣的三個階段也是一個粗略的劃分,并不一定要逐步的來發展,其實都是一些具體的做法和實踐。以我目前經歷過的實踐只想到這樣的層次,應該還有更高級的階段。
我們越到后面我們發現進一步的努力帶來的提升幅度其實不大。但是很多事情也是一樣,從85分到90分付出的努力可能比50到80分的努力還要大。另一個更有趣的是汽車的極速和馬力的關系,家用車100馬力開到180km/h是能做到的,但是超過時速300,每提升一點需要增加的馬力要大得多,到400以上,車時速每再增加一公里,功率需要提升八馬力。這篇文章讀起來非常有意思,http://blog.sina.com.cn/s/blog_4d0109a301000ajz.html
寫到這里,我們可以跳到整個公司或者業務的層面,來思考一些對于測試更深層次的問題:
測試團隊存在的價值和意義是什么?
只有對業務有明確的價值,業務測試,或者說整個測試團隊才有存在的意義。只要業務OK,砍掉測試團隊也不是不可能。我們必須時不時的跳出我們自己的思維的圈子,站在整個事業部老大的角度來思考下測試的價值和意義。
原文轉自:http://blog.csdn.net/superqa/article/details/21485737