應用MapReduce制作壓測利器(10)

　　測試結果被reducer分析匯總后輸出到hdfs上，最終我們只需要查看一下這個輸出文件的內容就可以得到我們需要的測試結果了。

　　其實我們不難發現，這種測試框架與DDoS攻擊很類似，當手握數千臺機器之后，基本上就具備了指哪毀哪的能力，MR框架體系蘊藏的能量的確是非常巨大的。

　　流程圖

　　沒有流程圖，上述文字描述終歸不夠直觀，因此詳細流程請看下圖所示：

　　多語言測試工具的支持

　　對于java類測試工具，我們可以應用該流程圖所示方案進行大并發度的壓力測試，對于非java語言類的測試工具，我們一方面可以自行撰寫其他編程語言的進程調度和收集器，另一方面也可以使用hadoop streaming這個編程工具來實現。Hadoop Streaming是 Hadoop提供的一個編程工具，它允許用戶使用任何可執行文件或腳本文件作為 Mapper和 Reducer。這樣一來我們用python或shell編寫的測試工具也可以通過streaming簡單的調度起來執行。有關streaming編程工具的技術細節請自行搜索腦補，這里不再贅述。

　　第二個例子

　　第二個例子是關于如何使用MR編程框架壓測HDFS文件系統的，該例子涉及到Hadoop更底層的技術細節，以及對性能指標的分析等內容，因此留作《工欲善其事必先利其器》系列的下一彈專門介紹一下，敬請期待。

　　總結

　　為什么把本篇作為系列文章的首彈，是因為Hadoop相關的測試工具大多不離該篇所使用到的技術。Hadoop是一個生態圈，因此測試工具作為生態圈的一部分也沒必要且不應該脫離這個生態圈去獨立生存。MR編程框架大大縮減了分布式應用程序的開發周期，其編程思想更值得每個碼農去深挖學習。本彈是筆者一個非常粗淺的思考開端，期望能夠拋磚引玉與更多碼農進行分享和探討。系列文章之二《HDFS性能壓測工具淺析》將進一步分享一下有關HDFS相關的技術細節。

原文轉自：http://www.taobaotest.com/blogs/2515