Implementación de un proceso automatizado de calidad de datos mediante herramientas Big Data en entorno Cloud

Abstract

El presente trabajo de suficiencia profesional describe la implementación de un proceso automatizado de calidad de datos mediante herramientas Big Data en entorno cloud, desarrollado para asegurar la confiabilidad y consistencia de la información utilizada en una organización corporativa. La solución fue implementada utilizando Azure Databricks, Azure Data Factory, Power BI y un motor de calidad desarrollado en Python para la ejecución de reglas de validación sobre grandes volúmenes de datos. El proceso consistió en la construcción de tablas de validación a partir de diferentes fuentes de información, la parametrización de reglas mediante archivos JSON y la ejecución automatizada de controles de calidad relacionados con valores nulos, duplicados, formatos, catálogos e integridad de datos. Como resultado, se generaron reportes de calidad y error almacenados en entorno cloud y posteriormente visualizados mediante dashboards en Power BI para el seguimiento de incidencias y monitoreo de indicadores de calidad. Finalmente, la automatización del proceso permitió optimizar los tiempos de ejecución, mejorar el control de la información y facilitar la detección de inconsistencias en aproximadamente un millón de registros evaluados mensualmente.