2017 熱門開源自動化測試框架優缺點對比

1. Robot Framework

Robot Framework（RF）是用于驗收測試和驗收測試驅動開發（ATDD）的自動化測試框架。 基于 Python 編寫，但也可以在 Jython（Java）和 IronPython（.NET） 上運行，提供跨平臺支持（Windows、Linux 或 MacOS ）。

優點：

• 通過使用關鍵字驅動測試（KDT）方法簡化了自動化測試過程，方便測試人員創建易讀的測試。
• 測試數據語法簡單易用。
• 生態系統豐富。由各種通用測試庫和工具組成，這些工具都是作為獨立項目開發的。
• 具有高度可擴展性。
• 可通過 pabot 或 Selenium Grid 執行并行測試。

缺點：

• 自定義 HTML 報告較為麻煩。

如果是針對大范圍的庫和擴展的 KDT 自動化測試，建議使用此跨平臺框架。如果想要添加新的關鍵字（通過 RF 測試庫 API ），需要具備 Java / Python / C 語言的基礎知識。

2. JUnit

JUnit 是一款針對 Java 應用的單元測試框架，用于編寫和運行可重復的測試。

優點：

• 純 Java 編寫。
• 支持測試驅動開發（TDD）。
• 允許創建自己的單元測試用例套件。
• 能很好地與其他工具（如 Maven ）和 IDE（如 IntelliJ ）集成。
• 長時間發展，有自己龐大的用戶群體，可以很容易找到文檔。

缺點：

• 如果需要 mocking 能力，則需要額外添加 Mockito（或其他模擬庫）。
• 因 JUnit 中的方法名稱受 Java 約定限制等原因，非技術人員很難讀懂測試結果。

如果你正在為你的 Java 應用編寫單元測試，那這可能是最好的選擇。 但是，對于功能測試或非 Java 應用，應考慮其他解決方案。

3. Spock

Spock 是用于 Java 和 Groovy 應用的測試和規范框架，基于 JUnit 。

優點：

• 測試可讀性強，支持簡單的英文句子，便于閱讀。
• 提供周邊上下文，從而能輕松了解如何解決故障。
• 內置 mocking 和 stubbing 功能。
• 支持數據驅動測試（DDT）。

缺點：

• 需要具備基本的 Groovy 語言知識。

如果你的應用是基于 JVM 的，并且目標是使用 DSL 進行 BDD 自動化測試，則此框架正適合！

4. NUnit

NUnit 是支持所有 .Net 語言的單元測試框架。最初也是基于 Junit 的啟發，完全采用 C＃ 編寫，目前已被完全重新設計以使用更多 .NET 語言功能。

優點：

• 啟動和測試執行速度快。
• 自帶斷言和注釋。
• 支持并行測試。
• 支持測試驅動開發（TDD）。

缺點：

• 非跨平臺，僅適用于 .Net 語言。
• 未集成到 Visual Studio echo 系統中，意味著使用它需要更多的維護。

一個很好的 C＃開源單元測試框架，歷史悠久，口碑較高。 不過，如果你正準備使用 .NET 語言，也可以考慮 MSTest 。

5. TestNG

TestNG 是一個 Java 自動化測試框架，受 JUnit 和 NUnit 的啟發，但又改進和新增了一些功能。旨在涵蓋所有自動化測試類別：單元測試、功能測試、端到端、集成測試等。

優點：

• 容易整合到 maven 循環中。
• 使開發人員能夠編寫靈活而強大的測試。
• 支持數據驅動測試（DDT）。
• 注釋很容易理解。
• 測試用例可以輕松分組。
• 允許創建并行測試。

缺點：

• 只支持 Java ，至少需要具備 Java 編程語言的基礎知識。
• 必須投入時間進行框架設置和設計。

如果你使用 Java ，并正尋找端到端的自動化測試框架，同時愿意投入一點時間去設置框架，你應該考慮使用 TestNG 。

6. Jasmin

Jasmine 是一個 JavaScript 單元測試框架， 也被稱為 JavaScript 的行為驅動開發（BDD）測試框架。適用于網頁、Node.js 項目或任何可以運行 JavaScript 的地方。它主要與 AngularJS 配對使用。

優點：

• 除了 JavaScript ，還可以運行在 Python 和 Ruby 中。如果想在你的服務器端運行客戶端測試，它可以幫助你。
• 被許多 CIs 使用和支持。
• 內置用于斷言的語法。

缺點：

• 多數情況下，它需要一個測試運行器（如 Karma ）。
• 難以異步測試。

如果你正在尋找一個統一的（客戶端 - 服務器）單元測試解決方案，Jasmin 可能會非常適合。

7. Mocha

Mocha 是一個 JavaScript 單元測試框架，它在 NodeJs 上運行測試，主要與 ReactJS 配對使用。

優點：

• 內置測試運行器。
• 支持異步測試。
• 使用靈活，可使用任何符合需求的斷言庫（Chai、expect.js、Must.js 等）作為 Node 標準“斷言” 功能的替代品。

缺點：

• 相對較新 (起始于 2012 年)，意味著有許多的未知性和可變性，在某些方面或缺乏用戶基礎和支持。
  僅提供基本的測試結構，因此需要額外的設置和配置（對于一些可能是有利的）。

如果你正在尋找 JavaScript 的獨立單元測試框架，Mocha 是首選！

原文轉自：https://my.oschina.net/editorial-story/blog/1574692