Trabajos de investigación EP Ingeniería Electrónica

Permanent URI for this collectionhttps://hdl.handle.net/20.500.12672/5173

Browse

Browsing Trabajos de investigación EP Ingeniería Electrónica by Subject "Big Data"

Filter results by typing the first few letters
Now showing 1 - 1 of 1
  • Thumbnail Image
    Item
    Implementación de un proceso automatizado de calidad de datos mediante herramientas Big Data en entorno Cloud
    (Universidad Nacional Mayor de San Marcos, 2026) Tornero Ureta, Jaime Jesús; Martinez Varela, Ruben Gino
    El presente trabajo de suficiencia profesional describe la implementación de un proceso automatizado de calidad de datos mediante herramientas Big Data en entorno cloud, desarrollado para asegurar la confiabilidad y consistencia de la información utilizada en una organización corporativa. La solución fue implementada utilizando Azure Databricks, Azure Data Factory, Power BI y un motor de calidad desarrollado en Python para la ejecución de reglas de validación sobre grandes volúmenes de datos. El proceso consistió en la construcción de tablas de validación a partir de diferentes fuentes de información, la parametrización de reglas mediante archivos JSON y la ejecución automatizada de controles de calidad relacionados con valores nulos, duplicados, formatos, catálogos e integridad de datos. Como resultado, se generaron reportes de calidad y error almacenados en entorno cloud y posteriormente visualizados mediante dashboards en Power BI para el seguimiento de incidencias y monitoreo de indicadores de calidad. Finalmente, la automatización del proceso permitió optimizar los tiempos de ejecución, mejorar el control de la información y facilitar la detección de inconsistencias en aproximadamente un millón de registros evaluados mensualmente.