Cómo trabajo
Esta es la arquitectura que aplico en mis proyectos: de las fuentes al dashboard, con calidad, orquestación e infraestructura como código. Pulsa una pieza para ver qué hace y dónde la he construido. Y quítala para ver qué se rompe aguas abajo.
La plataforma que montaría hoy en Google Cloud para una empresa mediana: captura de cambios desde las bases operativas, APIs y ficheros aterrizando en Cloud Storage, eventos por Pub/Sub, Dataflow en batch y en streaming, BigQuery por capas con Dataform, y consumo desde Looker Studio, Vertex AI, Sheets y una API. Debajo, lo que la mantiene viva: Composer, Dataplex, IAM, Terraform y observabilidad.
Sigue un solo cambio de principio a fin. Cada paso ilumina su pieza en el diagrama.
RRHH actualiza el salario de un empleado en Cloud SQL.
El cambio se lee del log de transacciones y se escribe como Avro en Cloud Storage en menos de un minuto, sin consultar la base.
Queda en una ruta con la fecha. Nadie lo modifica jamás: si algo sale mal después, se reprocesa desde aquí.
Esa noche el job batch parsea el Avro, comprueba el esquema y escribe la fila en BigQuery bronze. Si no cumple, va a la tabla de rechazados con el motivo.
Silver cierra la versión anterior del salario y abre la nueva con fecha de vigencia: historia completa, sin duplicados.
Clave única, salario dentro de rango, empleado existente en la dimensión. Si algo falla, gold no se toca y salta una alerta.
La tabla de hechos recalcula la brecha frente al salario de mercado de Eurostat para ese rol.
La predicción mensual actualiza el riesgo de salida del empleado y SHAP explica que la brecha salarial pesa menos que antes.
En Looker Studio el empleado sale de la lista de riesgo. Misma cifra en la hoja de finanzas, porque leen la misma vista gold.
Qué es cada etapa, por qué existe, con qué servicios se monta y dónde la he construido.
La versión sin marcas: las mismas capas y las mismas reglas sirvan cual sea la nube. Es el esquema mental que aplico antes de elegir servicios.
Sigue un solo cambio de principio a fin. Cada paso ilumina su pieza en el diagrama.
RRHH actualiza la ficha de un empleado en su sistema interno.
A las seis de la mañana un job lee la tabla y deposita una copia cruda en el lake.
La copia queda particionada por fecha. Si algo sale mal después, se reprocesa desde aquí.
Un modelo SQL normaliza tipos, elimina duplicados y define qué es "empleado activo".
Unicidad, nulos y rangos. Si algo falla, el pipeline se para y avisa antes de llegar a gold.
Entra en la tabla de hechos y actualiza la tasa de rotación con su definición escrita.
El dashboard pasa el umbral, el manager lo ve y convoca una conversación antes de que sea tarde.
Qué es cada etapa, por qué existe, con qué servicios se monta y dónde la he construido.