Freshness y volumen

Objetivo

Aplicar Freshness y volumen en un escenario de ecommerce y producir una salida que otra persona pueda verificar.

Antes de empezar

• Tener descargado el dataset ecommerce del curso
• Crear una carpeta de práctica y conservar el original sin modificar

Explicación

Freshness y volumen se trabaja aquí sobre el ecommerce del curso. Primero identifica la pregunta que quieres responder y el grain de los datos; después aplica detectar cargas atrasadas o caídas bruscas de volumen. No ejecutes código como una receta: observa qué columnas entran, qué filas pueden desaparecer o duplicarse y qué salida consume la siguiente capa. En un entorno profesional debes separar la lógica técnica de la definición de negocio, usar nombres legibles y conservar una consulta de reconciliación. Cuando el resultado parezca correcto, intenta romperlo con un caso límite: nulos, duplicados, fechas fuera de rango, estados inesperados o un identificador que no exista en la dimensión. El objetivo de esta lección no es memorizar Freshness y volumen, sino ser capaz de implementarlo, revisarlo y defender por qué la solución es fiable.

Contexto profesional

En un equipo de datos, detectar cargas atrasadas o caídas bruscas de volumen. Este trabajo suele aparecer en incidencias, revisiones de código o entregas de analítica. La diferencia entre una demo y un trabajo profesional es poder explicar el supuesto, reproducir el resultado y dejar una comprobación que detecte errores futuros.

Ejemplo real

MAX(loaded_at) >= CURRENT_TIMESTAMP - INTERVAL '2 hours'

Archivos o datos de entrada

• data/ecommerce_customers.csv
• data/ecommerce_orders.csv

Práctica guiada

Antes de mirar la solución, reproduce el ejemplo de Freshness y volumen, guarda la salida y escribe qué supuesto estás haciendo sobre los datos.

Laboratorio paso a paso

• Descarga los archivos indicados y crea una carpeta nueva para esta práctica; no modifiques el original.
• Inspecciona las columnas y escribe qué resultado esperas obtener al aplicar: detectar cargas atrasadas o caídas bruscas de volumen.
• Ejecuta o reproduce el ejemplo técnico: MAX(loaded_at) >= CURRENT_TIMESTAMP – INTERVAL ‘2 hours’
• Registra el número de filas de entrada y de salida y explica cualquier diferencia antes de seguir.
• Introduce un caso límite deliberado (nulo, duplicado, estado inesperado o valor extremo) y comprueba cómo responde tu solución.
• Guarda la versión final y anota en README los comandos/pasos exactos para repetirla desde cero.

Reto sin ayuda

Repite la práctica cambiando un supuesto importante de Freshness y volumen; documenta qué se rompe, cómo lo detectas y qué cambio harías para producción.

Resultado esperado

Obtendrás un artefacto reproducible de Freshness y volumen, con entrada conocida, salida observable y una comprobación que detecta al menos un caso límite.

Cómo verificarlo

Compara conteos, totales y claves con la fuente. Vuelve a ejecutar desde una carpeta limpia siguiendo sólo tu README; si falta un paso, la práctica no está terminada.

Checklist de validación

• La salida se puede reproducir sin pasos ocultos
• Los conteos/totales relevantes están reconciliados con la entrada
• Existe al menos una prueba de caso límite
• No hay secretos ni rutas personales dentro del código

Errores frecuentes

• Dar por bueno un resultado sólo porque la consulta/script no da error
• No documentar el grain o los filtros de negocio
• Cambiar varias cosas a la vez y no saber qué causó una diferencia

Qué debes recordar

En trabajo real, Freshness y volumen vale cuando es reproducible, verificable y comprensible para otra persona.

Preguntas de entrevista

• ¿Cómo comprobarías que una implementación de Freshness y volumen no duplica ni pierde información?
• ¿Qué caso límite probarías primero y por qué?

Siguiente paso

Continúa con la siguiente lección y reutiliza el mismo proyecto ecommerce para acumular trabajo real.

Recursos de esta lección