El Big Data o los datos masivos es un término acuñado para referirse a la acumulación de grandes repositorios de datos. Sus orígenes como concepto pueden retrotraerse a 2009 y al gigante de datos Google. En aquellos días cuando la gripe aviar era de una gran preocupación en todo el mundo, se publicó un artículo en la revista Nature que tuvo gran impacto entre algunos epidemiólogos y científicos de los datos. Al parecer los ingenieros eran capaces de predecir los patrones de propagación de la gripe en USA con bastante precisión mediante el análisis de los términos de búsqueda de los usuarios del buscador. Encontraron una fuerte correlación entre algunos términos de búsqueda y los patrones de propagación de la gripe.
Aunque esto ya se había intentado hacer antes, la principal falla era que hasta ahora se buscaban hipótesis a priori, seleccionando antes los términos de búsqueda para ver que si estos observaban presentaban algún tipo de correlación. La principal diferencia es que en esta ocasión no se suministró ninguna hipótesis previa y simplemente se dedicaron a buscar correlaciones para luego establecer las hipótesis. Un enfoque totalmente ortodoxo que a la postre se mostró bastante efectivo para poder navegar entre los incomprensibles océanos de datos que algunos gigantes de internet como Google estaban comenzando a almacenar. Este fue sin duda el nacimiento de la metodología de los datos masivos, olvidarse del conocimiento a priori, aplicar análisis estadísticos y luego intentar delinear las hipótesis o incluso renunciar a ellas. El establecimiento de hipótesis a priori es uno de los grandes requisitos que tenemos que cubrir cuando nuestras investigaciones se basan en pequeñas muestras representativas, gracias al big data, en algunas ocasiones el análisis de muestras es algo superado ya que podemos analizar el global de los datos sin tener que seleccionar muestras representativas.
Se trata de conocer el qué aun a costa de renunciar al porqué. Y esto puede ser un contrasentido. Como afirmaba Merovingio el personaje de Matrix Reloaded, el porqué es una fuente de poder, el problema es que un por qué falso es una fuente de problemas. Y es que no hay ignorancia más perniciosa que la de ser ignorante de la propia ignorancia. La era del Big Data anticipa una época en la que los cambios serán tan rápidos que sólo nos permitirán actuar en el momento, ser consciente del que, sin tiempo para el análisis del porqué, que muchas veces se convertirá en una anécdota del pasado.
Realmente el Big Data se basa más en la reducción de los costes de computación que en la utilización de nuevos paradigmas o complejos modelos de análisis, es el triunfo de la fuerza bruta. De hecho las nuevas tecnologías surgidas alrededor del Big Data como Hadoop o MapReduce se basan en este enfoque, renuncian a la solidez estructural de las bases de datos relacionales y permiten un análisis más rápido de grandes volúmenes de datos, aun cuando estos se encuentran desordenados .
Aplicaciones actuales del Big Data
Las ciencias de salud, el comercio internacional, la industria de contenidos, las telecomunicaciones, la meteorología, el transporte, en general cualquier actividad humana que genere grandes cantidades de flujos de datos potencialmente capturables y almacenables es susceptible de convertirse en un potencial campo de aplicación de las tecnologías Big Data.
Las redes energéticas, ciudades inteligentes, comercio minoristas, transacciones financieras e industria de contenidos son solo algunos ejemplos de sectores en los que actualmente ya se están aplicando las tecnologías de Big Data. Pero en general cualquier empresa que genera grandes volúmenes de datos es susceptible de su utilización.
Integración entre Big Data y aplicaciones de negocio
La primera aplicación que nos viene a la mente a la hora de integrar el Big Data en las soluciones de negocio es el Business Intelligence. Los información proveniente del Big Data puede ser una inestimable fuente de valor a la hora de tomar decisiones de carácter empresarial. Junto con la información proveniente del análisis de los datos puramente empresariales podemos incorporar análisis de fuentes de datos externos que nos permitan mejorar la toma de decisiones empresariales, especialmente en las decisiones de mercado.
Pero la información proveniente del Big Data no solamente puede ser un complemento para la toma de decisiones. Al igual que la integración entre ERP y redes M2M permite que las aplicaciones sean capaces de tomar decisiones en base a los datos suministrados por las máquinas y dispositivos de la empresa, los datos provenientes de análisis de big data pueden ser utilizados por las aplicaciones de negocio.
Por citar tan sólo algunos ejemplos, las empresas agrícolas podrían tomar decisiones de cosecha y de siembra en base a los análisis de datos meteorológicos y datos de mercado. Lo mismo que los operadores logísticos podrían adaptar la programación de sus expediciones en base a los datos de tráfico de las distintas rutas que utilizan.