在中文信息檢索領域中，缺乏大規模測試數據集是制約我們研究和技術
發展的重要因素。參考TREC多年的成功經驗，本屆SEWM2004會議開始包
含一個中文Web檢索競賽項目。我們希望為這個領域的研究人員，用戶，企
業提供一個交流的機會，希望在國內外各個研究小組的共同參與下建立并完
善以中文為主的Web測試集CWT100g(Chinese Web Test collection with 100
GB web pages)，一起推動中文Web信息檢索技術的發展。
依據TREC在Web Search評測方面多年的成功經驗，主題提取(topic
distillation)和導航搜索(homepage/named page search)能夠較好反映Web
Search中用戶搜索需求，是現在評估Web Search系統的主要內容[1]。
本屆SEWM-2004中文Web檢索競賽基本參照TREC-2003 Web Track的
模式[2][3]。包含兩個具體目標：
1) 研究有效的主題提取方法：針對用戶給定的廣泛查詢，找到一組最佳
的主頁。
2) 研究有效的導航搜索方法(包括主頁和指定頁面查詢)：找到用戶需要的
特定頁面。
2 文檔集
文檔集，根據天網搜索引擎截止2004年2月1日發現的中國范圍內提供
Web服務的1,000,614個主機，從中采樣17,683個站點，在2004年6月搜集
獲得5,712,710個網頁，包括網頁內容和Web服務器返回的信息，容量為
90GB。其中每個網頁對應的服務器返回信息中的MIME類型都是"text/html"或
者"text/plain"。
文檔集數據格式參見[4]。
3 主題提取任務
主題提取目的是對于一個特定主題發現一組關鍵資源。在今年的任務中我
們將只注重以站點作為資源的查詢。要求是在前十個結果中尋找盡可能多的不
同站點（用它們的網站首頁面表示）。
對于主題'linux'，CWT100G中的下面站點可能被認為是關鍵資源：
http://www.oldlinux.org/linux org
http://www.mhdn.net/os/29/明輝開發者網絡 linux區
http://www.redflag-linux.com/紅旗Linux
被判斷為是一個關鍵資源，返回頁面應該是一個站點的好的首頁面。判斷
是否一個好的首頁面,考查三個方面:
1)是否大部分切合主題；
2)提供主題的可靠的信息；
3)不是一個更大的切合主題站點的一部分。
對于'linux'這一主題，頁面'www.mhdn.net' 不符合第一個條件，而頁面
'http://www.redflag-linux.com/chanpin/Desktop/index.html'不符合第三個條件。
提供主題格式和TREC一致，實例為：
<top>
<num> Number:
<title> linux
<desc> Description：
找到和linux主題相關的站點.
</top>
只有<title>可以用作系統的查詢條件。
將根據在前十個結果(通常在的Web搜索系統返回的第一個頁面)中有幾
個正確的答案來判斷系統的性能。使用前10個結果的精確率和前10個結果的
平均精確率(P@10)來評判。
延伸閱讀
文章來源于領測軟件測試網 http://www.kjueaiud.com/
