亞太地區

OCLC 完成核心 WorldCat 基礎設施的主要技術升級。

Move to HBase and Hadoop brings performance improvements and new technical opportunities for the world’s largest bibliographic database

2013 年 6 月 10 日俄亥俄州都柏林—6 月 6 日 OCLC 完成開發工作,將其 WorldCat 資料庫的基礎結構轉換成 Apache HBase,這是如 Facebook,Adobe 與 Salesforce.com 等許多全球性資訊供應商所採用的分散式平台。這表示一重大技術更新的成果,讓 WorldCat 資料庫有超過 3 億筆圖書館記錄與超過 20 億筆圖書館館藏,這為圖書館及其使用者在資料分析與快速服務上提供了新的選擇。

Apache Hadoop 軟體集合是一個架構,可對電腦叢集之間的大資料集進行分散式處理。 HBase 是一流的「Apache 軟體基礎」專案,建立在 Hadoop 的基礎上;Hadoop 為這些大型資料庫提供重大的資料處理改進。 OCLC WorldShare 應用程式用於圖書館管理、資源分享、元資料及探索,需依賴存取各種大型且不斷成長的資料庫,包括 WorldCat 資料庫。

OCLC 全球工程副總裁 Greg Zick 表示:「這是非常精彩的技術移轉與服務升級。 「隨著我們將 OCLC 服務移至 WorldShare 平台上的雲端,我們需要找到一些方法最佳化我們在如當地目錄、國家目錄與權威資料集等大型資料庫上作業的效能。 這個升級工作也會幫助我們持續改善品質、比對與合併記錄,並讓合作資料有了新的表達與用法。」

OCLC 會員合作資料的真正範圍是這種變化的一個驅動因素,因為 HBase 為非常大的資料集提供了更好的處理方法。 此外,HBase 與 Hadoop 允許 OCLC 以新的方式表示圖書館資訊,以用於電子內容與連結的資料系統,同時為圖書館及其使用者提供更一致、可靠與快速的服務。

OCLC 資源技術經理暨 Hadoop 移轉團隊領導人 Ron Buckley 在 2013 年 6 月 13 日於舊金山舉行的 2013 HBaseCon 會議中與資料庫管理領域的領袖討論此工作。

Buckley 表示:「我們的成果很重要。我們的硬體儲存需求已大幅減少,並簡化了整體需求空間來支援成長。」 我們看見某些重要的資料作業效能有顯著的進步,執行時間從數日縮短為數小時。 此項升級讓我們能探索新的領域,例如詳細的分析與豐富的關係,皆將為所有圖書館增加合作關係資料的價值。

Hadoop 透過擴大數百台,甚至是數千台電腦的資料服務,而提供一部分的增強項目,每一個都有數個處理程式核心。 這能有效的在一組機器之間散佈大量的工作,因此能有更大的彈性、更快的速度與相依性。 OCLC 正在三個叢集超過 150 台伺服器之間執行 Hadoop。

Michael Stack 是 Cloudera 的軟體工程師、Apache HBase 專案管理委員會的主席,為 HBaseCon 事件定調,積極從事此領域的 OCLC 工作。 Stack 先生表示:「我已經和 Ron Buckley 有多次討論,並知道在經過仔細的研究與多項預備工作後,OCLC 已經順利的轉移。 「這是我最愛的 HBase 部署。 這關乎於圖書館,我最愛的機構,也關乎於 Apache HBase 成為一個賦能技術,讓 OCLC 能完成更多工作。 這是一個很棒的故事。」

此技術已經影響了 OCLC 功能與服務。 最近新增至 WorldCat.org 的連結資料元素依賴 Hadoop 的功能。 此外,嶄新的「WorldShare 元資料收集管理員」服務充分運用其分散式基礎設施的資料處理益處。

Zick 先表示;「我們將此創新的成功歸功於我們非凡的移轉團隊。因為他們的才能與努力,這個重要的移轉對我們會員運用現有 OCLC 服務的影響最小。 此團隊在干擾最小的情況下在 HBase 中複製 WorldCat 的實際執行版本、寫入全新的存取層,然後逐步將現有的產品與服務移至新的基礎設施。」

OCLC 相關資訊

OCLC 成立於 1967 年,為一非營利性、成員制、電腦化的圖書館服務與研究組織,致力讓大眾進一步存取全球的資訊並降低圖書館成本。 全球有 170 個國家的 74,000 所圖書館使用 OCLC 服務尋找、採購、編目、出借、保存與管理圖書館資料。 研究人員、學生、教職員、學者、專業的圖書館員以及其他的資訊搜尋者無論在何時何地,只要有需要,皆可使用 OCLC 服務取得書目、摘要與全文資訊。 OCLC 及其成員圖書館合作製造並共同維護 WorldCat,WorldCat 是全球最大的線上資料庫,可供探索圖書館資源。 在網路上搜尋 WorldCat.org。 如需詳細資訊,請瀏覽 OCLC 網站。

OCLC、OCLC WorldShare、WorldCat、WorldCat.org 及 WorldShare 為 OCLC Online Computer Library Center, Inc 的商標和/或服務標章。第三方產品、服務及公司名稱為各自所有人之商標和/或服務標章。

連絡方式

  • Bob Murphy

    Manager, Media Relations

    O: 614-761-5136