Latin America and Caribbean

OCLC realiza una actualización técnica importante de infraestructura central de WorldCat.

Move to HBase and Hadoop brings performance improvements and new technical opportunities for the world’s largest bibliographic database

DUBLÍN, Ohio, 10 de junio de 2013— El 6 de junio, OCLC completó el trabajo de desarrollo para convertir la estructura subyacente de su base de datos de WorldCat a Apache HBase, una plataforma distribuida que utilizan muchos proveedores de información global, incluidos Facebook, Adobe y Salesforce.com. Esto marca la conclusión de una actualización técnica considerable relativa a la base de datos de WorldCat de más de 300 millones de registros de biblioteca y más de 2 mil millones de existencias de biblioteca que ofrecerán nuevas opciones para el análisis de datos y un servicio más rápido a las bibliotecas y sus usuarios.

El software Apache Hadoop es un marco que permite el procesamiento distribuido de grandes conjuntos de datos en clústers de computadoras. HBase es un proyecto de Apache Software Foundation de primer nivel basado en Hadoop que ofrece importantes mejoras en el manejo de datos para estos conjuntos de datos tan grandes. Las aplicaciones deWorldShare de OCLC para administración de bibliotecas, intercambio de recursos, metadatos e identificación dependen del acceso a diversos conjuntos de datos grandes y en crecimiento, incluida la base de datos de WorldCat.

“Es una transición tecnológica y una actualización del servicio que generan mucho entusiasmo”, explicó Greg Zick, Vicepresidente de Ingeniería Global de OCLC. “A medida que pasamos nuestros servicios de OCLC a la nube en la plataforma de WorldShare, debemos encontrar una forma de optimizar el rendimiento de nuestras operaciones en grandes conjuntos de datos, como catálogos locales y nacionales y conjuntos de datos de autoridad. Esta actualización también apuntalará los esfuerzos de mejora continua en la calidad, la correspondencia y las fusiones de registros, y permitirá nuevas representaciones y usos de los datos de la cooperativa”.

El mero alcance de los datos de la cooperativa de los miembros de OCLC es un impulsor de este cambio, ya que HBase proporciona un mejor manejo de conjuntos de datos muy grandes. Además, HBase y Hadoop permiten a OCLC representar información de biblioteca de nuevas formas para su uso en contenido electrónico y sistemas de datos vinculados, al mismo tiempo que ofrecen un servicio más uniforme, confiable y rápido a las bibliotecas y sus usuarios.

Ron Buckley, Gerente Sénior de Tecnología de OCLC y líder del equipo de migración de Hadoop, analizará este esfuerzo con líderes en el campo de la administración de bases de datos en la conferencia HBaseCon 2013 en San Francisco, el 13 de junio de 2013.

“Nuestros resultados fueron significativos”, explicó el Sr. Buckley. “Nuestros requisitos de almacenamiento de hardware se redujeron en gran medida y el espacio total se simplificó para acompañar el crecimiento. Hemos notado importantes ganancias en el rendimiento de algunas operaciones de datos principales en las cuales el tiempo de ejecución se redujo de días a horas. Esta actualización nos permite explorar nuevas áreas, como el análisis detallado y las relaciones enriquecidas, que aumentarán el valor de los datos de la cooperativa para todas las bibliotecas”.

Hadoop proporciona estas mejoras, en parte, escalando servicios de datos en cientos o incluso miles de computadoras, cada una con varios núcleos de procesador. Esto distribuye de manera eficaz una gran cantidad de trabajo en un conjunto de máquinas, lo que permite más flexibilidad, velocidad y confiabilidad. OCLC utiliza Hadoop en más de 150 servidores en tres clústers.

Michael Stack, Ingeniero en Software de Cloudera, Presidente del Comité de Administración de Proyectos Apache HBase y orador destacado del evento HBaseCon, confía con entusiasmo en el trabajo de OCLC en esta área. “Hicimos muchos análisis con Ron Buckley y sé que después de un estudio cuidadoso y un gran trabajo de preparación, OCLC inició una transición sin sobresaltos”, comentó el Sr. Stack. “Esta es mi implementación de HBase favorita. Se trata de bibliotecas, mi institución preferida, y se trata de Apache HBase como tecnología instrumental que permite a OCLC hacer más. Es una gran historia”.

Esta tecnología ya ha tenido un impacto en la funcionalidad y los servicios de OCLC. La reciente incorporación de elementos de datos vinculados a WorldCat.org depende de las características disponibles en Hadoop. Asimismo, el nuevo servicio de Administrador de colecciones de metadatos de WorldShare aprovecha las ventajas de los beneficios del manejo de datos de su infraestructura distribuida.

“El éxito de este emprendimiento se lo debemos a nuestro extraordinario equipo de migración”, destacó el Sr. Zick. “Por su trabajo arduo e inteligente, esta transición significativa tuvo un impacto mínimo en el uso de los servicios existentes de OCLC por parte de nuestros miembros. El equipo pudo replicar la versión de producción de WorldCat en HBase, escribir una capa de acceso completamente nueva y luego pasar productos y servicios existentes en forma paulatina a la nueva infraestructura con interrupciones mínimas”.

Acerca de OCLC

Fundada en 1967, OCLC es una organización sin fines de lucro, que funciona como una asociación dedicada a la prestación de servicios bibliotecarios computarizados y a la investigación, con el propósito público de facilitar el acceso a la información del mundo y de reducir los costos asociados. Más de 74 000 bibliotecas en 170 países usaron los servicios de OCLC para ubicar, adquirir, catalogar, prestar, preservar y administrar materiales de biblioteca. Investigadores, estudiantes, académicos, científicos, profesionales bibliotecarios y otras personas que buscan información usan los servicios de OCLC para obtener información bibliográfica, resúmenes y textos completos en el momento y lugar en que los necesiten. OCLC y sus bibliotecas miembro producen y mantienen de forma cooperativa a WorldCat, la base de datos en línea más grande del mundo para recursos bibliotecarios. Busque WorldCat.org en la Web. Para obtener más información, visite el sitio web de OCLC.

OCLC, WorldShare de OCLC, WorldCat, WorldCat.org y WorldShare son marcas comerciales y/o marcas de servicios de OCLC Online Computer Library Center, Inc. Los nombres de productos, servicios y razones sociales de terceros son marcas comerciales y/o marcas de servicios de sus respectivos propietarios.

Contacto

  • Bob Murphy

    Manager, Media Relations

    O: 614-761-5136