用戶有時候會用名稱來查詢特定的網頁。在這種情況下，一個有效的搜索
系統將在第一個或前幾個返回結果中給出那個網頁。
今年的任務包括兩個任務的組合：主頁查詢和指定頁面查詢。這兩種情況
下，查詢結果只有一個并且用戶的查詢需求常常是頁面的名稱。不同的是主頁
查詢的目標是一個特定的主頁，而指定頁面查詢所找到的可以不是一個主頁，
而是滿足用戶需求的特定頁面。例如，主頁查詢時，查詢詞“內蒙古民族大學
”對應的查詢結果是“www.mzdx.com”；而指定頁面查詢時，查詢詞“2001
年中國十大并購人物”對應的查詢結果是“www.mergerschina.
com/top10/index-7.asp”。
一些查詢/排序策略對兩種類型的查詢都有效，而有的只對其中一種有效。
我們提供混和的查詢集合。評判為：判斷參與者返回文檔的URL是否為
最初選定文檔的URL。當然，如果頁面有兩個不同的URL，那么這兩個都將
被認為是正確的答案。
通過第一個正確答案的位置對系統進行比較。以第一個正確答案出現位置
的倒數平均值(MRR)為評估準則。
在這項工作中，不允許人工的或者交互的修改查詢。
5 索引限制
沒有索引限制。你可以隨意索引每篇文檔的全部內容，或者部分內容。
6 提交和判斷
1) 所有的結果在2004.11.1之前，提交給北大網絡實驗室(郵箱地址：
yhf@net.pku.edu.cn)。
2) 提交信息：
主題提�。禾峤�5組運行結果。對于每個查詢，列出結果不超過1000個。
主頁/指定網頁查詢：提交5組運行結果。對于每個查詢，列出結果不超過
50個。
結果的格式如下（一個結果一行）：
topic-id rank sim url
topic-id ：topic主題的編號
rank ：在返回結果中文檔的位次
sim ：主題與文檔的相似度計算值
url ：結果的url。(為文檔數據中的URL字段內容)
3) 我們針對每個任務，接受每個參賽隊的5組正式提交結果，但是否能夠全
部被評測依賴于提交數目、重疊度和可獲得的判斷資源。希望對于每個任務(主
題提取和兩個主頁/指定網頁查詢)， 每個參賽隊提交的運行結果中有2組被
評估。
4) 所有的評測工作將由我們的評估人員完成。
5) 評估的標準是二元的：是關鍵資源或者非關鍵資源，是主頁/指定網頁或者
非主頁/指定網頁。
6) 評估是基于文檔內容完成的，此外，文檔的URL也是評估的依據。特別的，
對于主題提取，文檔中包含的鏈接(特別是在同一個網站上)所指向的文檔也
是評估的依據。
延伸閱讀
文章來源于領測軟件測試網 http://www.kjueaiud.com/
