Big Data: de Google a su empresa


El Big Data, es un nuevo enfoque en gestión de datos, surgido por las necesidades de las grandes compañías de Internet de lidiar con grandes volúmenes de datos. Cuando comprendieron que los sistemas tradicionales de almacenamiento y análisis de información, no eran capaces de dar respuesta a la gran cantidad de datos a gestionar, se vieron obligados a desarrollar nuevas tecnologías.

Es difícil establecer cuando nació el Big Data. Los primeros en marcar a la res,  fueron O´Reilly Media allá por 2005 y que el lanzamiento de Hadoop en 2006 marcó un hito en cuanto a tecnologías orientadas al almacenamiento y análisis flexible de datos, pero la cuestión siempre ha estado en el aire.

La aportación de Google

En el año 2000, los ingenieros de Google se dieron cuenta que ningún software disponible en el mercado sería capaz de ayudarles a afrontar el enorme reto que tenían entre manos: indexar y organizar toda la información contenida en una Internet en crecimiento constante. Entonces, desarrollaron una nueva infraestructura de almacenamiento de datos, basada en dos sistemas: uno de gestión de archivos y otro de proceso de datos que permitía separar el trabajo entre diversos servidores de gran tamaño que trabajaban de forma paralela. Esta arquitectura fue la base que utilizó Doug Cutting para crear Hadoop.

En 2009 los ingenieros de Google publicaron un artículo en la revista Science en la que explicaron cómo fueron capaces de predecir la propagación de la gripe invernal en Estados Unidos, no sólo a nivel nacional, sino incluso en regiones específicas.  Lo hicieron cruzando más de 50 millones términos de búsqueda con y los datos de propagación de la gripe entre 2003 y 2008.

Su enfoque fue rompedor. En vez de comprobar si los usuarios buscaban unos términos en concreto, procesaron un total de 450 millones de modelos matemáticos para lograr encontrar 45 términos de búsqueda que integrados en un único modelo presentaban una correlación fuerte con los datos de propagación de la enfermedad, permitiendo predecir en tiempo real el desarrollo de la gripe. Con ello habían encontrado la forma ideal de explotar grandes volúmenes de información.

La evolución del Big Data hacia la empresa tradicional

De ahí en adelante un puñado de empresas, principalmente gigantes de internet como Google, Facebook y otras, cuyo modelo de negocio estaba asociado a una explotación intensiva de la información, hicieron del Big Data una parte esencial de su negocio. La gran mayoría de empresas tradicionales permanecían ajenas a esta revolución, pero por poco tiempo.  Poco a poco algunos sectores como el financiero (Banca Online, Trading), la distribución (Amazon y demás), comenzaban a afrontar escenarios realmente complejos de gestión de la información.

Gracias a los sistemas tradicionales de BI (Data Warehouses, ETL´s, etc..), las empresas tradicionales han sido capaces de contar con una visión única de empresa integrando la información procedente de múltiples sistemas y aplicaciones de negocio, pero muchas se encuentran en un momento en el que esto empieza a no ser suficiente.

La apertura de los mercados y la intensificación de competencia obliga a una integración cada vez más estrecha de la cadena de suministros y la cadena de valor. El comercio online, no solamente entre empresas y cliente final sino también en los mercados b2b, ha acentuado estas necesidades de integración, al aportar unos volúmenes de información cada vez más mayores. Las necesidades de gestión de la información son mucho más complejas que las que teníamos años atrás, en los que una empresa con su ERP tradicional y unas pocas herramientas de ofimática para usuarios era capaz de satisfacer sus necesidades de forma razonable.

 

El inevitable encuentro entre empresas tradicionales y Big Data

El alza de los grandes proveedores de servicios de Internet ha sido a costa de la erosión e incluso desaparición de grandes sectores de la economía tradicional. Al igual que los fabricantes de carromatos sucumbieron ante el auge de los Daimler y Ford, las páginas amarillas y guías telefónicas, han sido barridas por eficacia de los servicios de búsqueda ofrecidos por Google. ¿Cuándo fue la última vez que consultó una guía telefónica?

Amazon, que comenzó con un portal de internet en el que se podían comprar los libros de escasa tirada y que difícilmente encontraríamos en las estanterías de una librería local, se ha convertido en una especie de bazar universal que está transformando el negocio de la venta detallista. Ha supuesto el fin de muchos comercios tradicionales, pero a su vez ha sabido transformarse en una plataforma que actúa como escaparate en el espacio digital para miles de pequeñas empresas y particulares que ofrecen sus productos a través de esta web.

La lista de ejemplos podría ser mucho más larga, pero al final todo se resumen en compañías que han sabido aprovechar el potencial que nos ofrecen tecnologías como el Big Data para crear y desarrollar modelos de negocios que generan más valor para los clientes.

En definitiva, nada nuevo bajo el sol, los peces grandes son los primeros que han comenzado a sacar partido a una nueva revolución tecnológica que por otro lado a convertido a algún pez chico en tiburón (Facebook, Amazon, Google), pero conforme la tecnología se ha ido asentando y los costes de acceso y explotación se han ido reduciendo, el Big Data se empieza a convertir en una necesidad para no convertirnos en pez muerto.