Escala: telemetría, cardinalidad y costo
La misma consulta que corre en segundos con un millón de eventos puede costar una fortuna con un billón. Escalar la seguridad es un problema de diseño de datos.
Qué es
En una aplicación grande, el borde genera miles de millones de eventos por día, y la mayor parte es tráfico normal. Escalar la telemetría de seguridad significa seguir viendo los ataques sin pagar por guardar y recorrer todo lo demás de la misma forma.
Tres variables mandan: volumen (cuántos eventos), cardinalidad (cuántos valores distintos hay en un campo, como IPs o user agents) y retención (cuánto tiempo cada dato debe permanecer caliente).
Cardinalidad: el enemigo silencioso
Agregar por IP produce millones de grupos; por país, decenas. Una detección que agrupa por una clave de cardinalidad alta se vuelve lenta y cara, y las métricas con cardinalidad explosiva tumban los sistemas de monitoreo. La regla es agregar por el nivel más grueso que todavía separe el ataque de lo normal (ASN, prefijo, país, familia de user agent) y bajar a la IP solo cuando sea necesario.
Particionar y preagregar
Dos técnicas resuelven la mayor parte del costo: particionar las tablas por tiempo (y agrupar por columnas de filtro), para que una consulta lea solo la ventana necesaria, y mantener agregados por minuto en una tabla pequeña para las detecciones y los paneles, dejando el dato crudo solo para investigación.
-- tabla cruda: particionada por día, agrupada por host y path
CREATE TABLE sec.edge_events (
ts TIMESTAMP, client_ip STRING, asn INT64, host STRING,
path STRING, status INT64, user_agent STRING, bot_score INT64
)
PARTITION BY DATE(ts)
CLUSTER BY host, path;
-- agregado: es el que leen las detecciones
CREATE OR REPLACE TABLE sec.edge_1m AS
SELECT TIMESTAMP_TRUNC(ts, MINUTE) AS minute, host, path, asn,
COUNT(*) AS reqs,
COUNTIF(status IN (401, 403)) AS denied
FROM sec.edge_events
GROUP BY minute, host, path, asn;Muestreo y retención por capas
- Muestreo: para tráfico volumétrico y uniforme, guardar una fracción basta para la estadística; los eventos de seguridad relevantes (bloqueos, desafíos, anomalías) se guardan siempre completos.
- Retención por capas: crudo por pocos días o semanas, agregados por meses, indicadores ejecutivos por años.
- Costo por detección: toda regla nueva debe estimar cuánto lee y con qué frecuencia corre.
- Pipeline resiliente: colas y buffers para absorber picos sin descartar eventos, y contadores para saber cuándo se perdió algo.
Escalar también es escalar al equipo
El volumen no es solo máquinas: es el número de reglas, excepciones y alertas que un equipo logra mantener. Estandarizar el esquema, nombrar y versionar las detecciones y automatizar lo repetitivo es lo que permite que el SOC crezca con el tráfico sin crecer en la misma proporción.
conexiones en el mapa
- Escala: telemetría, cardinalidad y costosustentaTelemetría de borde y de aplicación
- Escala: telemetría, cardinalidad y costomantiene viableIngeniería de detección
actualizado el 14/10/2026 · fuentes para profundizar · reportar un error
en otros dominios
- Confiabilidad a escala: idempotencia, reintentos y backpressuresecengvolumen y falla: escalar sin perder ni duplicar
Estudia antes
pon a prueba lo que entendiste
Cargando preguntas…