搜索技術和產業動態分析

　　引言

　　隨著Internet的大規模普及，信息量呈爆炸性速度迅速增長。當一年的信息儲存量大于人類歷史上所有信息儲存量300倍的時候，人們發現，在浩瀚的互聯網海洋中找到目標信息的難度已大大增加。據權威機構統計，網上約有數十億的網頁，甚至有些專家宣稱網頁總數已達5500億，而且仍不斷增長。如何在龐大互聯網上獲取有價值的信息已成為人們日益關注的問題，搜索引擎技術的發展恰好解決了這一難題，它以一定的策略在互聯網或數據源中搜集、發現信息，對信息進行理解、提取、組織和處理，并為用戶提供檢索服務，從而起到信息導航的目的。

　　搜索引擎技術涉及到信息檢索、人工智能、計算機網絡、分布式處理、數據挖掘、自然語言處理等多領域理論和技術，所以具有很大的綜合性和挑戰性。而且，由于搜索引擎擁有大量用戶，具有很好的商業價值，所以引起了全球科研機構和IT產業界的高度重視，促進了搜索引擎技術和產業的快速發展。

　　當前，隨著搜索引擎用戶規模和應用領域的不斷增大，搜索引擎技術的發展趨勢是智能化、跨媒體、實時化、垂直、移動和個性化發展。

　　智能化搜索

　　根據中國互聯網絡信息中心(CNNIC)《2010-2011年中國搜索引擎用戶行為研究報告》的調查顯示，截止2010年底，中國搜索引擎用戶規模達到4.5億人，年增長率達48.6%。與此同時，搜索引擎逐步向低學歷網民群體滲透。這意味著用戶需求的輸入內容越來越多樣化(不僅僅是關鍵字方式，也可以是任意的自然語言陳述)，這對搜索引擎的智能人機交互、語義分析、行為分析、海量計算等輸入智能化處理性能都提出了更高要求。例如，最近百度提出的“框計算”，就是利用搜索的云計算平臺，為用戶提供基于互聯網的一站式搜索服務，用戶只要在框中輸入服務需求，系統就能明確識別這種需求，并將該需求分配給最優的應用或內容資源提供商處理，最終返回給用戶相匹配的結果。

　　跨媒體搜索

　　傳統的文本、圖像、音頻和視頻分析與檢索技術都是相互獨立的，缺乏面向多種媒體的跨媒體搜索技術。隨著新的多媒體搜索領域不斷出現，搜索結果呈現方式也將以多媒體的形式出現，除了傳統的文本搜索，還包括以播客(podcast)為主要搜索內容的播客搜索、以視客(Videoblog)為主要搜索內容的視客搜索，以及面向IPTV業務的IPTV搜索等。這些多媒體信息應用的發展，要求信息搜索“必須是跨媒體的，也就是說用戶通過統一的界面和單一的提問，就能夠獲得以各種媒體形式存在的語義相似的結果。”為了提供支持多種檢索方式和多模態用戶信息需求的跨媒體檢索，跨媒體搜索技術研究涉及海量多媒體數據的智能處理、多通道信息的融合和集成、快速準確的跨媒體索引等關鍵問題研究和應用。

　　實時搜索

　　目前，很多人都意識到了實時搜索的重要性。即使是全球最大的搜索引擎提供商google也意識到其在滿足實時社交搜索方面已經落伍。業內人士最近就實時搜索是否是網絡的未來方向進行了探討，認為“網絡環境將越來越變得實時化;只要網絡技術存在，實時將持續發展，同時，利用過濾信息流的辦法，以保證信息不會過剩”。國內典型的實時搜索的代表就是有道搜索引擎，它是2010年4月網易針對微博信息推出的國內第一家實時搜索服務。但是，盡管實時搜索給人帶來即時快速信息，同時，它也很容易充斥垃圾信息。所以，實時搜索技術與產品還要重點考慮實時搜索的信息過濾，以保證實時搜索的結果能在質量上有待提高，使得檢索出來的結果能更符合用戶需求。

　　垂直搜索

　　垂直搜索引擎針對某一個行業或組織，提供滿足行業專業需求或者業務需求的專業搜索引擎，是搜索引擎的細分和延伸，是對某類網頁資源和結構化資源的深度整合，可為用戶提供符合專業操作行為的信息服務。相比通用搜索引擎的海量信息無序化，其主要特征在于：面向特定領域或對象，可借助行業知識進行深度挖掘;信息來源相對集中，避免全網搜索;信息處理量足夠大;可將非結構化的信息結構化。當前國內的垂直搜索引擎處于穩步發展階段，市場占有率為50%以上，技術與國際處于同一起跑線上，例如各種購物搜索、房產搜索、人才搜索、地圖搜索等都屬于垂直搜索的范疇。此外，隨著搜索情境多樣化，比方說在車上進行搜索行為，或是移動設備的移動式搜索，精準的垂直搜索有了更廣泛的應用空間。垂直搜索的發展趨勢在于信息分類的細化以及深度挖掘，通過對元數據信息進入深度加工，為用戶提供網頁搜索引擎無法做到的專業性、功能性及關聯性、并加入用戶信息管理及信息發布互動功能，以更好滿足用戶對信息獲取的專業性、準確性、功能性、個性化需求。

　　移動搜索

　　移動搜索是指以移動設備為終端，通過SMS、WAP、IVR等多種特定搜索方式實現高速、準確的獲取信息資源的搜索行為。隨著3G技術和移動互聯網的快速發展，移動上網將逐漸獨立成長為和桌上電腦上網并行的網絡行為，使移動搜索用戶成為搜索引擎的重要的的客戶群體。艾瑞咨詢eMarketer最新研究數據表明，在2011年，全球移動搜索用戶數將達到9.0億，而全球移動搜索市場規模也將達到23.6億美元。而國內，在中國移動及移動服務提供商大力扶持下的移動增值業務市場近來也出現高速增長態勢，移動互聯網的發展趨勢使移動搜索成為未來的發展方向之一。為了適應移動終端屏幕小、網絡接入速度相對慢等特點，移動搜索技術更注重使用的簡約化和查詢實效性，所以便利性、精準性、時效性以及提供個性化服務成為了移動搜索的重要特征，移動搜索引擎的關鍵技術涉及海量數據的采集、分析與管理以及用戶請求的智能應答。

　　個性化搜索

　　個性化搜索是搜索引擎根據用戶搜索的歷史記錄，包括用戶所搜索的關鍵詞，在搜索結果中的點擊情況，在各個網站的訪問情況，書簽情況等，然后對這些信息進行分析，在用戶搜索新的關鍵詞時，能返回更有針對性的搜索結果，從而提高用戶體驗。當前個人化本地搜索更多的應用在在搜索本地新聞。個性化搜索的難點在于搜索引擎怎樣才能準確猜測用戶在特定時間的搜索目的?人的需求是不斷變更的，依據歷史記錄完全可能得出相差十萬八千里的猜測。

　　綜看當前的搜索引擎技術和搜索產業的快速發展趨勢，搜索引擎測試技術和測試服務的發展將面臨更多的挑戰。當前，在搜索引擎領域的測試主要有TREC基準測試，跨語言檢索評測會議NTCIR、CLEF，機器翻譯評測TC-STAR等，它們都是利用統一的TB級海量測試集測試各種搜索技術的搜索性能指標，例如召回率(Recall)、精度(Pricision)、平均準確率(Mean Average Precision，即MAP)等。而對于各種搜索技術造成的系統資源利用率的性能測試還沒有統一的評測規范和標準，這些指標也是目前進行搜索技術研究的科研機構以及搜索服務提供商等非常關注的指標，也是保證搜索引擎產品質量、搜索技術測試領域研究和實施的重要方向。

原文轉自：http://www.kjueaiud.com