La gestión de la calidad de los datos es crítica en un entorno de Data Warehouse y posteriormente analítico porque, cualquier error en calidad de datos, hace que la información extraída posteriormente por el sistema de Business Intelligence pueda conducir a la toma de decisiones erróneas.
Los beneficiarios de una adecuada gestión serían todos los miembros de la organización, sin embargo, los responsables pueden agruparse en dos categorías:
- Propietarios del dato.
- Desarrolladores del proyecto de gestión de datos.
Los primeros son quienes ostentan un contacto más directo con el dato, desde su creación o importación, hasta su desaparición del sistema, mientras que los segundos son los que se encargan de implementar el proyecto de administración, por lo que tienen mayores posibilidades de detectar errores de calidad, algo que suele suceder durante la etapa del perfilado.
Abordar con pulcritud la gestión de los datos implica concentrarse en dos procesos:
- Exploración de datos.
- Calidad de datos.
La gestión de la calidad de los datos en el tiempo
Una de las claves de gestión de datos en proyectos de Data Warehouse es el marco temporal de actuación. Está claro que la fase de implementación ha de desarrollarse de acuerdo a rigurosos estándares, sin embargo, no puede obviarse la necesidad de atención que hay que prestar a esta materia de forma posterior.
Los pasos a seguir son:
1. Descubrir: identificar y medir la calidad de los datos.
2. Perfilar: definir reglas y objetivos de calidad de datos.
3. Limpiar: diseñar los procesos de mejora de calidad (homologando y enriqueciendo cuando sea necesario).
4. Match: matcheo de información y estadísticas.
5. Consolidar: fase de implementación de los procesos de mejora de la calidad.
6. Monitorizar: hacer un seguimiento de la calidad de los datos comparándolos a los objetivos prefijados.
De manera continua, y desde el momento en que la ejecución de la implementación se ha dado por concluida, es preciso monitorizar la calidad de los datos. La frecuencia de monitorización dependerá de cada negocio y de sus necesidades, sin embargo, en todo caso la implantación de estos procesos de calidad ha de estar prevista dentro de la fase de transformación.
Cuando se lleva a cabo la gestión de la calidad de los datos hay que tratar de evitar los errores más frecuentes, que pueden llevar al fracaso del proyecto y, lo que es más importante, extender su impacto negativo en las acciones futuras de la empresa. Hay que prestar una especial atención a:
- La fase de perfilado: es el punto de partida y sólo se lleva a cabo una vez. Darle la consideración necesaria es fundamental ya que es en ese momento cuando se puede conocer de verdad lo que deparan futuros estadios del desarrollo.
- Diversidad de fuentes: la variedad de orígenes de datos puede hacer caer en riesgos de duplicidades que, gestionados con el MDM, pueden también acarrear duplicados de un mismo sistema.
- Duplicidades en el mismo sistema: otro de los temas más delicados a considerar y que suelen venir motivados por errores humanos.
- Datos incompletos: la completitud es uno de los atributos de la calidad del dato que mayor importancia tienen en términos de análisis. La detección de datos carentes de ella es imprescindible para garantizar la consistencia de la información con que se trabajará.
