Implementación de un Lakehouse para la optimización de los flujos de datos usando herramientas GCP en una aerolínea en el 2022

Abstract

El trabajo realizado trata sobre la implementación de un Lakehouse para la optimización de flujos de datos debido a una baja performance de la plataforma actual de la empresa que ocasiona que procesos críticos de la misma no puedan ejecutarse en paralelo y demoren más tiempo del que puede esperar el negocio. Además, al encontrarse la plataforma en un sistema on-premise no se podían almacenar más datos ya que se llegó al límite de disco que el equipo de tecnología podía manejar. El trabajo abarca la elección de herramientas entre los principales proveedores de tecnologías cloud, la definición de la arquitectura Lakehouse para la plataforma, la definición de un marco de trabajo que la subgerencia de datos utilizará para trabajar con las tecnologías escogidas de manera ordenada y escalable, la configuración de ambientes de desarrollo y producción y la habilitación del primer flujo de datos que servirá como base para poder migrar los demás flujos de datos más críticos de la empresa. De este modo, se logró implementar una plataforma de datos moderna, robusta, basada en la nube, que permite eliminar los límites de almacenamiento, reducir los trabajos de gestión de infraestructura sacando provecho a la tecnología serverless, que permite procesar grandes volúmenes de datos de manera paralela en tiempos cortos y que no bloquea los trabajos de los distintos analistas del negocio que trabajan con la data procesada.