TRS構建新華社待編稿庫系統案例

領測軟件測試網

一、新華社多媒體待編稿庫項目背景

新華社作為中國的國家通訊社，承擔著對內對外新聞服務的重要任務，多媒體待編稿庫是新華社多媒體數據庫對內服務的核心，是新華社編輯

、記者采寫稿件的總集合。這些稿件通過總社各專業編輯系統、各社辦報刊編輯系統、分社編輯系統、各種移動發稿系統以及公眾互聯網的電子郵件系統等采寫、傳遞、存儲到多媒體待編稿庫，內容包括文字、圖片、圖表、音視頻稿件及多媒體混編稿件。系統是開放給全社授權采編人員使用，沒有部門界限和障礙，在遵守稿件采編規定的前提下，最大限度地共享全社資源。待編稿庫系統是新華社實現新聞業務信息化的基礎，它對于整合全社的新聞信息資源、提高新聞信息利用率、降低新聞信息產品加工成本、滿足新聞信息用戶個性化的需求、提高新華社的核心競爭力具有重要的意義。

二、新華社多媒體待編稿庫功能需求分析

新聞信息待編稿資源內容整合和共享

建立新華社全社待編稿庫服務系統的目的是為了實現將來自新華社各部門、各分社、各國外通訊社的新聞信息（含文字、圖片、圖表）、各社辦報刊的待編稿資源全部整合，并通過這一系統實現各部門、各分社對全社新聞信息資源的共享。

新聞業務系統應用集成

使用者通過該服務系統能方便進行待編稿件調閱功能外，還應能具備在現有編輯系統（包括總社編輯系統、圖片編輯系統、信息中心編輯系統）內直接建稿的功能，即實現待編稿庫服務系統與其它編輯系統的互動性能，使得待編稿庫系統和相應編輯系統之間的集成性，獲得更好的系統性能，使得待編稿件和各部門的編輯系統之間形成一套緊密結合的系統，更高效、靈活地為相關工作人員提供服務。

可以將總體需求劃分為核心的應用需求和輔助應用需求，具體分析如下：

1. 核心應用需求

待編稿件采集：能及時準確地采集到全社的待編稿件，是實現全社稿件共享的前提。包括：

* 實現多來源、多類型、多格式稿件采集：新華社待編稿件來源廣，有來自總社編輯系統的、有來自分社編輯系統的、有來自信息中心編輯系統的、有來自圖片編輯系統的，還有來自社辦報刊編輯系統和其它各部委的信息、社會信息、外電外刊外國通訊社以及浩瀚的網絡資源上的等等，并且這些稿件還具有語種多、類型多等特點，因此在采集時須考慮對多格式稿件的支持，除了常見的TXT 純文本的，還要考慮支持WORD,EXCEL, PDF 等常見文件格式。

* 實現稿件標準化傳輸和存儲：新華社為解決各系統間數據傳輸的應用統一問題和未來發展需要，提出了全社采用XML/XinhuaML 稿件格式進行存儲和傳輸，因此，待編稿件的傳輸以及系統之間的數據交換都應考慮采用XML/XinhuaML 標準數據，需要自動完成數據轉換，以滿足數據規范要求。

稿件分類：科學、準確、規范的稿件分類是實現待編稿服務的基礎。由于稿件數量巨大，需要進行基于稿件內容的機器自動分類，以保證效率。因此，稿件分類方式應同時支持自動分類和人工分類兩種方式，其中以自動分類為主來完成主要的工作，人工進行校準或完成特定分類。

稿件發布：通過特定的信息發布技術，在相應的信息平臺上發布，讓稿件使用者能方便地瀏覽和檢索到所關注的稿件。信息發布形式包括：欄目形式、樹型目錄形式、卡片頁面形式等；發布方式包括菜單驅動方式、樹型驅動及模塊驅動等方式來實時發布待編稿件。

稿件檢索：為了能讓信息使用者能快速、全面、準確地檢索到相應要查找的待編稿件，提高信息獲取效率和質量，待編稿件在瀏覽查閱應用方面，應具有全文檢索功能。不但具有基于稿件正文內容進行檢索的功能，同時還要具有結合稿件標引時間、稿源等屬性進行組合檢索的能力。檢索系統還應能支持分類檢索功能，以實現對文字、圖表、圖片等類型的稿件能分開檢索，同時又能混合檢索的需求；另外，還應能支持中英文混合檢索。

編輯系統集成：建立待編稿庫服務系統，其目的之一是實現待編稿件的共享，提高待編稿件的價值，同時，也是為了滿足待編稿件能更方便地進入稿件編輯系統，實現待編稿庫服務系統和各編輯系統無縫集成，實時互動，完成稿件的編輯功能。因此，建立待編稿庫系統，和新華社

（已有的或以后再新開發的）編輯系統高度集成，方便編輯人員的編輯工作，是待編稿庫系統需要實現的重點功能之一。

當用戶調閱到一篇稿件后若想編輯，即可點擊稿件的建稿操作，這些稿件建稿操作能根據用戶不同的身份以及隸屬的編輯系統，能分別指向不同的編輯系統，經用戶確認后，該篇待編稿件將以該用戶身份在指向的編輯系統中為該用戶創建，用戶進入相應編輯系統后，即可編輯該稿件，該稿件的元數據能自動復制到相應編輯系統中。

XML/XinhuaML 數據規范和多語言的支持：多媒體待編稿庫服務系統必須全面遵循新華社制定的具有全部知識產權的XinhuaML 標準。XinhuaML 源于XML 技術，目標是成為中文多媒體新聞標識語言的標準。另外，針對新華社稿件語種繁多的特點，所有文件內容在關系數據庫中按照Unicode 編碼存儲，要求具備對多語種的支持。

2. 輔助應用需求

待編稿件的統計：系統應能統計各類稿件的使用情況。其中面向稿件的統計包括稿件被瀏覽的次數、被建稿的次數等；面向使用者的統計包括該使用者瀏覽稿件數量統計和建稿數量。待編稿件的統計有利于對稿件質量和編輯工作量進行量化考核和精細管理。

信息智能提示功能：待編稿庫服務系統具備信息智能提示功能，將急需處理的稿件、應處理的稿件、當天播發新聞、當天用戶采用統計等信息提供給使用者，并以彈出窗口、聲效、操作提示和圖表等多種方式展現。通過這些提示功能，系統從“響應驅動”的被動式服務變為“自動提醒”的主動式服務模式，體現人性化實用設計理念。

另外，系統還應具備完善的用戶管理功能、日志管理功能和健壯的安全保障及容錯防災體系，保證訪問權限控制，維護數據和系統安全，并且具有不間斷運行的能力。

三、基于內容管理技術的系統設計

隨著社會的進步、經濟的發展、信息技術的普及和提高，各行業的信息內容正在以迅猛地勢頭增加。這些信息并不僅限于存儲在數據庫或后臺系統中的結構化數據，還有很多非結構數據。據統計,目前大約85%的企業信息是非結構化數據，包括紙張文件、報告、傳真、視頻、音頻、圖片等，稱為內容。在對這些內容的獲取、組織、存儲、安全、提取和再利用的技術手段方面，面臨著挑戰。近幾年來，由此就出現了內容管理概念和相應的內容管理技術。

其中非結構化大對象數據的存儲和管理技術以及元數據與索引數據的同步是內容管理中數據整合所需要的關鍵技術。非結構化的內容管理包括對元數據的管理、數字對象的管理以及如何通過一個統一的庫訪問協議對元數據和數字對象進行一致性、完整性操作。

在多媒體內容的范疇內，可以通過以下公式來更好地理解：

一個媒體對象 = 不可區分的媒體對象

媒體對象 + 元數據 = 內容

內容 + 權限 = 媒體資產

一個媒體對象（經過數字化處理后就成為數字對象）是一個不可區分的對象，例如一篇文章，在沒有加入其它的限定描述前，一篇文章與另一篇文章的屬性是無法將它們區分開的，要想區分它們，就需要給它們各自加上自己獨特的屬性信息，如文章的標題，關鍵詞、時間以及作者等等，而這些獨特的屬性信息稱為元數據。結合了元數據的媒體對象就叫做內容。而對于內容，如果可以被再利用，再增值，就需要使內容成為媒體資產。如果要將內容變為媒體資產，需要加入權限管理。加入了權限管理后，對內容的利用就可以因人而易，使得內容信息可以被再利用，生成資產價值。

在待編稿庫建設時，依照內容管理的觀點，針對大對象數據的訪問、修改和管理等不同特點，將生產過程中的元數據和文字稿件存儲在Oracle 數據庫中，將圖片等二進制大對象存儲在內容管理平臺中，通過元數據與對象數據同步機制自動建立元數據和內容管理對象的對應關系。通過內容管理機制保證對大對象數據操作的完整性和一致性，應用內容管理體系結構的優勢實現大對象數據的高效訪問。關系型數據庫管理系統擅長結構化數據的處理，由RDBMS 服務器管理業務數據，可以保證數據的完整性和一致性；全文檢索系統擅長于非結構化全文數據的處理—全文檢索，由全文搜索引擎管理非結構化全文數據的全文索引，并提供全文檢索服務。通過將全文檢索系統和關系數據庫的集成，使用戶在完全保持已有業務應用和業務數據的前提下，可以對海量的結構化和非結構化數據進行高效、安全、可靠的發布和增值利用。

下圖示意了新華社多媒體待編稿庫的整體功能框架：

整個待編稿使用了如下關鍵技術進行開發：

* 使用JAVA 語言開發的采集工具完成大量待編稿件的多線程采集任務，并把待編稿件按照新華社統一XML/XinhuaML 規范格式實現轉換預處理功能；

* 使用Oracle 數據庫實現對待編稿件的存儲和管理

* 使用TRS 中文知識工具包 (CKM)實現稿件自動分類和機檢分類；

* 使用基于J2EE 的內容發布系統結合IBM Portal Server 實現稿件個性化發布及稿件統計功能；

* 使用LDAP Server 和IBM Tivoli Access Manager 實現用戶策略管理；

* 使用TRS Server 全文檢索服務器完成待編稿件的檢索應用；

* 基于組件技術和Web Services 技術，實現待編稿庫服務系統和編輯系統之間的應用集成。

新華社多媒體待編稿庫服務系統系統結構如下圖所示：

待編稿庫服務系統的特點和優勢

1. 基于J2EE 架構進行多層體系結構設計

J2EE 是開發可伸縮的、具有負載平衡能力的多層分布式跨平臺企業應用的理想平臺。J2EE提供一個標準中間件基礎架構，由該基礎架構負責處理企業開發中所涉及的所有系統級問題，從而使得開發人員可以集中精力重視商業邏輯的設計和應用的表示，提高開發工作的效率。J2EE有效地滿足了行業需求，提供獨立于操作系統的開發環境�；�于J2EE 的應用系統靈活且易于移植和重用，可運行在不同廠家的Web 服務器上。更為重要的是，J2EE 是一個開放體系，完全有能力適應未來技術的進步和發展。

2. 全面基于XML/XinhuaML 標準

多媒體待編稿庫系統全面遵循新華社制定的XinhuaML 標準。XML 作為一種可擴展性標記語言，其自描述性使其非常適用于不同應用間的數據交換，而且這種交換是不以預先規定一組數據結構定義為前提。XML 最大的優點是它具有對數據描述和數據傳送能力，因此具備很強的開放性。為了實現數據傳輸和存儲管理都是標準的XinhuaML 格式的需求，在待編稿件的采集系統中我們開發了一個轉換程序，對采集的各種文檔類型的稿件進行轉換，使其都是標準的XML 格式。該系統充分利用和遵循XinhuaML 設計上的規范，實現XML 數據的透明入庫、存貯和動態展現，但是由于新華社多媒體數據庫目前使用的Oracle 8i 本身還不支持Native 方式的XML 查詢和數據操作，為了保證系統效率，數據在內部還是按照二維關系表存貯，考慮到多媒體數據庫系統與其它應用系統交換數據的頻繁性，在數據存儲時，另外保存了一份XML 文件。XML 一開始就建構在Unicode(統一碼)之上，提供了對多語種的支持。

3. 采用面向對象的組件技術進行設計

J2EE 多層結構的每一層都有多種組件模型。因此，開發人員所要做的就是為應用項目選擇適當的組件模型組合，靈活地開發和裝配組件，這樣不僅有助于提高應用系統的可擴展性，還能有效地提高開發速度，縮短開發周期。此外，基于J2EE 的應用還具有結構良好，模塊化，靈活和高度可重用性等優點。

4. 首次應用中文知識管理技術

待編稿庫系統首次應用中文知識管理軟件(TRS Chinese Knowledge Management Toolkit)實現大量稿件的查重、分類需求。創造性地結合了基于規則的分類和基于統計學的自動分類技術，使內容查重準確率達到95%以上。自動分類功能支持基于統計原理的自動分類和基于語義規則的機檢分類兩種方法，可實現計算機輔助人工的自動分類，具備了較強的智能化信息處理功能，節省了大量的人工操作。

四、新華社待編稿庫的應用前景和效益

新華社多媒體待編稿庫經過兩個多月的試用，2003 年7 月1 日正式投入運行。新華社社領導指出：待編稿庫建設及運行是新華社的一件大事，對新華社履行好國家通訊社、耳目喉舌、消息總匯、世界性通訊社四項職能將產生重大而深遠的影響；是新華社黨組著眼于抓住本世紀頭一、二十年戰略機遇期，充分依靠高新技術，推動新華社事業跨越式發展而采取的重要舉措；待編稿庫的運行將極大地促進和實現全社新聞信息資源、人力資源的整合與共享，進一步理順管理體制，充分調動全社職工的積極性和創造性，從而全面增強新華社影響力，把建設更加強大的世界性通訊社的事業進一步推向前進。

新華社待編稿庫是新華社實現多媒體新聞信息采、編、發一體化的系統工程。待編稿庫具有整合、共享和管理新華社新聞信息資源三大功能,真正實現了全社新聞信息資源共享，部門所有為全社共有。

新華社待編稿庫的建設和運行，既是把當代高新IT 技術首次全面、系統地運用到新華社的新聞報道采編系統中，又推動新華社采編工作進入新信息采編時代。

作為促進新華社發展的新的生產力要素，待編稿庫將引發深遠的轉變，撬動通訊社運行機制、采編責任主體、編輯工作方式、記者寫作方式、人力資源分布、采編人員收入分配、新華社產品格局、機構管理等8 個方面的改革，推進新華社事業發展“整體性”的騰飛。

【參考文獻】

《新華社待編稿庫系統設計方案》新華社待編稿庫項目組

《中國傳媒科技》 《整合資源 設計新篇——采編人員談待編稿庫撬動八項變革》 吳錦才

《中國傳媒科技》 《探索新聞信息全方位共享——新華社多媒體待編稿庫技術應用綜述》 曹學會 陳杰

文章來源于領測軟件測試網 http://www.kjueaiud.com/