El compendio masivo de datos se postula como una buena fuente para optimizar rentabilidades en el sector del turismo. En el Forum TurisTIC, celebrado el pasado mes de abril en Barcelona, se estipuló que el número de turistas que viajaron por ocio en 2012 fue de 1.100 millones. La mayoría de ellos portan en sus desplazamientos dispositivos móviles como smartpohenes o tabletas. La hiperconexión de los expedicionarios ofrece la oportunidad de analizar sus experiencias y ofrecerles propuestas de acuerdo con sus intereses.

Todo proyecto de migración de datos debe poder garantizar la calidad de los mismos. Este principio impone la aplicación de procesos de Data Quality en cualquier traslación de este tipo. Y es que la calidad de los datos debe ser una preocupación prioritaria para las organizaciones. De hecho, la base de la inteligencia de negocio radica en poder operar sobre datos confiables e íntegros. La ausencia de calidad incide directa, y nefastamente, en este requisito que ha de preservarse desde el minuto cero de una migración de datos.

Big Data es un valor para las empresas, pero su uso, que obedece a un imperativo de mercado, más que a una necesidad, requiere de la presencia de Hadoop, única solución realista a la gestión de datos, también a tener en cuenta en proyectos de Data Warehouse.

Big Data ha de ser incorporado al entorno analítico de negocio y de Data Warehouse. Pero para hacerlo quizás sea necesario adentrarse en su comprensión. Para ello, Big Data puede abordarse desde la tetra-dimensión de sus facetas:

- Datos en reposo: los datos listos para ser procesados, toda esa información con la que ya se cuenta puede ocupar volúmenes que alcancen incluso los exabytes y que obligan a plantearse necesidades de almacenamiento y gestión extra.

- Datos en movimiento: la creación y el procesamiento de datos es un flujo continuo que, por las características el entorno competitivo actual, requiere de respuesta en lapsos de tiempo no superiores a los milisegundos. Los datos han de ser gestionados en tiempo real, según se generan, sin esperar a ser almacenados. Ejemplo de ello son los sensores, la información de fraude, etc. y la solución IBM Infosphere Streams.

El proceso intuitivo de conocer el contenido de una base de datos consiste en consultar, una por una, la totalidad de las tablas que la componen. A priori, puede parecer una técnica apropiada y una decisión razonable, pero ¿qué comportamiento tiene cada campo de cada tabla? y ¿cómo es posible anticiparse a conocer el contenido de una base de datos?

El perfilado de datos da respuesta a estas cuestiones y complementa a la etapa de descubrimiento de datos permitiendo efectuar un análisis que resulte en conclusiones que aporten información acerca de la calidad de los datos orígenes, su completitud y sus interrelaciones.

En los tiempos que corren, cada vez con mayor frecuencia, se hace necesario conocer la trazabilidad de los datos. Las razones que empujan a las empresas a contar con esta necesidad a la hora de planificar la gestión de datos en proyectos de Data Warehouse no son sólo de prevención o para asegurarse una fácil localización de errores que simplifique su corrección, sino que también tienen mucho que ver con las normativas legales, que empiezan a proliferar en este entorno, y que exigen controlar y conocer la trazabilidad de los datos, como es el caso de Solvencia II en el sector asegurador.

En líneas generales, puede afirmarse que gestionar la trazabilidad de los datos (a la que también es posible referirse como linaje, Data Lineage en inglés), es la capacidad de conocer todo el ciclo de vida de un dato, desde la fecha y hora exacta en que fue extraído, el momento en que se produjo su transformación, y hasta el instante en que tuvo lugar su carga desde un entorno fuente (servidor, fichero, tabla campo, etc.) a otro de destino.

Generar linaje o trazabilidad manualmente es posible pero complejo. Básicamente, los procesos de movimientos de datos deben generar datos de auditoría, almacenándolos en un repositorio. Este área de almacenamiento ha de quedar vinculada a cada uno de los datos. Como puede imaginarse, el esfuerzo de llevar a cabo una tarea de este tipo es increíblemente elevado, con la contrapartida de que, además, es frecuente que implique errores por su condición manual.

¿Cómo deducir un modelo entidad - relación de una base de datos antigua, a la cual debemos acceder para recoger datos y, posiblemente, migrarlos a otra base de datos? ¿Cuál es la mejor manera de hallar las conexiones entre ventas, clientes o productos y el modelo de datos conceptual? ¿Qué modelos se deben tener en cuenta en cada caso?

Lo cierto es que, si se ha de proceder a una migración de datos, es imprescindible conocer el medio y llegar a descubrir los puntos más específicos como:

- Dónde encontrar cada dato.

- Qué significa cada campo.

- Cuáles son los conceptos que encierra cada término.

El descubrimiento de datos es la fase inicial en todo proceso de migración de datos y la primera referencia que indica que una migración no es un acto automático, dista mucho de un copiar y pegar y requiere de un gran trabajo, coordinación, pruebas y un constante seguimiento que vele por mantener los estándares de calidad y la integridad del dato.

Los metadatos son los datos sobre los datos, por eso muchas veces son considerados como el elemento que define las características de un dato. Su relevancia en los proyectos de Data Warehouse viene dada por una motivación práctica. En un proyecto de BI, el 80% de herramientas del mercado se presentan con una capa de metadatos que hace posible traducir a un concepto de negocio el contenido de los datos procedentes de un campo en una tabla. En el mundo del DWH y los procesos de integración, el desarrollador o el arquitecto del DWH tiene necesidades equivalentes que le obligan a buscar la manera de gestionar estos metadatos, como sucede generalmente en los procesos de integración.

El Gobierno de Malasia ha pedido a la Unión Internacional de Telecomunicaciones (UIT) la elaboración de una normativa para posibilitar la transmisión de datos de vuelo en tiempo real de forma que permanezcan almacenadas en tierra. La base del nuevo proceso podrían ser el Big Data y la nube. La petición del ejecutivo malayo llega después de la desaparición del vuelo MH370 de Malaysian Airlines el pasado 8 de marzo.