Calidad de datos para analytics: proceso y retos

El alcance del análisis de datos que una empresa puede realizar depende de tres variables: la calidad de datos para analytics, la capacidad para procesar grandes volúmenes de datos estructurados y no estructurados y la disponibilidad de una herramienta que, en condiciones máximas de seguridad, garantice las funcionalidades necesarias para extraer todo el valor de los datos aportando descripciones, predicciones y, yendo un paso más allá y entrando en el área de las prescripciones. ¿Está tu negocio a la altura?

Créditos fotográficos: "Floppy Disks" by nuttakit

Calidad de los datos para analytics

Cuando, en términos de análisis de datos, se habla se la necesidad de garantizar la calidad de datos para analytics, el concepto data quality puede adquirir múltiples dimensiones de igual importancia para el propósito final: minimizar el riesgo a través de la optimización de la toma de decisiones.

Entre los aspectos a considerar al valorar la calidad de datos en un proceso de analítica avanzada se encuentran los siguientes:

•  Cantidad: el volumen de datos a que se tiene acceso ha de ser suficiente para poder efectuar el análisis. Al tratarse de una ciencia probabilística con tintes estadísticos, las muestras han de tener un tamaño considerables puesto que, de otra forma, resulta imposible detectar tendencias o descifrar patrones.

•  Disponibilidad: muy relacionado con la cuestión anterior se encuentra el tema de la disponibilidad. Se debe poder acceder a las fuentes de datos y esta capacidad ha de experimentarse en condiciones realistas, es decir, que su frecuencia y condiciones de uso han de encuadrarse en la planificación estratégica de a empresa sin suponer un uso desmedido de recursos o una inversión injustificada.

•  Completitud: hay que velar por la integridad de los datos, como atributo inherente a su calidad. No existen garantías en el análisis de datos cuando existen valores perdidos o lagunas de información. Lo mismo sucede con su extactitud.

•  Relevancia: este aspecto parte de la definición y establecimiento de los indicadores que aportarán las métricas. A la vista de los datos obtenidos, se ha de alcanzar la capacidad de extraer un valor relacionado con las metas de negocio, si no es así, hay que volver a plantearse su elección.

El proceso para obtener datos fiables para el análisis: calidad de datos para analytics

El proceso que permite garantizar que se van a obtener datos fiables para analytics cuenta con los siguientes pasos:

1. Descripción de datos: en esta definición se han de identificar todos los requisitos de los datos que culminan en su validez y completitud, garantizando su idoneidad para su uso destinado a la consecución de los objetivos de negocio.

2. Evaluación de datos: una autoevaluación es siempre un punto de partida eficaz. De esta forma se conoce la situación, dónde se encuentra la empresa en relación con sus datos. A partir de aquí, se puede comenzar a planificar la trayectoria a seguir hasta alcanzar el nivel deseado.

3. Detección de problemas y establecimiento de mecanismos de resolución: identificadas las debilidades es momento de diseñar la táctica a seguir para hacerles frente y eliminarlas. Se trata de reducir al máximo los errores o inconsistencias en los datos.

4. Monitorización: las tareas de seguimiento y control son una constante en cualquier entorno que se preocupe por la calidad. Para aumentar su eficiencia hay que determinar un calendario de actuación, frecuencia de evaluación, responsables y requisitos de reporting.

Por último, para asegurar que el análisis de datos se lleva a cabo en condiciones óptimas se debe prestar atención a data quality en tres áreas fundamentales:

•  Captura de datos: hay que ser capaz de garantizar que los datos que se toman de las fuentes de origen llegan en condiciones de calidad.

•  Sistemas y data warehouse: todos ellos han de estar dotados de herramientas de detección automática de problemas de calidad.

•  Procesos: que deben procurar que cualquier cuestión relativa a la calidad de datos para analytics queda documentada y es revisada.

Los retos de calidad que afectan al análisis de datos

El aseguramiento de la calidad de los datos en una empresa es un asunto no exento de complejidad pero, cuando se trata de la dimensión analítica, el tema adquiere connotaciones críticas que dejan al descubierto los principales retos de cualquier proyecto de este tipo:

•  La dificultad para resolver retroactivamente algunos de los problemas de calidad que se detectan.

•  La carencia de un plan de acción que oriente en el camino a seguir para afrontar problemas relacionados con cuestiones de data quality.

•  El aumento de complejidad que supone el que la calidad de datos para analytics involucre a usuarios de negocio a todos los niveles de la organización.

•  La debilidad del gobierno de los datos, que afecta de forma directa a los conflictos entre sistemas y todas las cuestiones relacionadas con la consistencia en la aplicación de las reglas de negocio.

Afortunadamente, si bien el análisis de datos supone un importante desafío para la calidad, lo cierto es que, al mismo tiempo, también es uno de sus principales aliados. Con data analytics se amplía la visibilidad a nivel de negocio y ello, no sólo arroja luz sobre hábitos de consumidores, estrategias de la competencia o popularidad de la marca, sino que también revela las debilidades internas de la empresa a nivel de datos.

La analítica avanzada, con todo lo que ello implica, se apoya en potentes herramientas que permiten detectar duplicidades, lagunas de información o diferencias entre lo reportado por dos sistemas distintos. En otras palabras, su contribución al aseguramiento de la calidad es extraordinaria y no requiere de ningún esfuerzo adicional, ya que los fallos se detectan a simple vista en los dashboards o las gráficas que acompañan al reporting, tal es su claridad y profundidad.

Post relacionados:

• Aplicaciones prácticas del análisis de datos para PYMES