IA en el triaje y la mitigación

Los modelos de lenguaje aceleran el triaje de alertas y la escritura de mitigaciones, pero leen datos no confiables y pueden equivocarse con total seguridad. El diseño correcto trata la salida como una sugerencia, no como una decisión.

Azure OpenAIPromptfooJSON SchemaPython

Qué es

Usos comunes de la IA en seguridad: resumir una alerta y su contexto en lenguaje claro, sugerir la clasificación y la severidad, proponer una mitigación de código a partir de un reporte de o , y responder preguntas de los analistas sobre incidentes. La ganancia es tiempo de lectura y de escritura, no sustituir el criterio.

Riesgos específicos

a través de los datos: logs, user agents, títulos de PR y cuerpos de solicitud los controlan los atacantes y pueden contener instrucciones que el modelo obedece.
Alucinación: una mitigación plausible pero errónea, o una referencia a una corrección que no existe.
Fuga: enviar secretos, datos personales o código propietario a un servicio externo sin control.
Exceso de autonomía: conectar la salida del modelo directamente a una acción destructiva.

Salida estructurada y validación

Pídele al modelo una salida en formato fijo y valídala contra un esquema antes de usarla. Lo que no coincide se descarta o va a un humano. Esto convierte el texto libre en datos que la automatización puede verificar.

triage_output.schema.jsonjson

{
  "type": "object",
  "required": ["verdict", "severity", "reasons"],
  "additionalProperties": false,
  "properties": {
    "verdict":  { "enum": ["attack", "benign", "needs_human"] },
    "severity": { "enum": ["low", "medium", "high", "critical"] },
    "reasons":  { "type": "array", "items": { "type": "string" }, "maxItems": 5 }
  }
}

Dónde entra la IA en el playbook

El patrón seguro es la IA alrededor de la decisión, no en su lugar: resume y sugiere, una regla determinista o un humano decide, y la acción pasa por los frenos del playbook (idempotencia, aprobación, dry-run, auditoría). Cuanto mayor es el impacto de la acción, más lejos queda de la salida directa del modelo.

Medir antes de confiar

Un conjunto de evaluación con alertas reales ya etiquetadas por analistas, que se ejecuta en cada cambio de prompt o de modelo.
Dar seguimiento a los aciertos, los falsos positivos y los casos en que el modelo se negó o pidió un humano.
Revisión continua por muestreo de la salida en producción.
Control de datos: qué sale hacia el proveedor, con secretos y datos personales enmascarados antes del envío.

SASTAnálisis estático: examina el código sin ejecutarlo. Encuentra problemas por análisis de flujo, no por adivinación.ver en el glosario →DASTPrueba dinámica: ataca la aplicación en ejecución, desde afuera, en caja negra.ver en el glosario →Prompt injectionAtaque en el que contenido hostil (en una página indexada, en un correo resumido, en un documento que abre el agente) intenta reemplazar las instrucciones del sistema. El atacante sabe que el LLM mezcla texto confiable con texto encontrado y planta un 'ignora las instrucciones anteriores y ejecuta X'. Es el vector número 1 en agentes en producción hoy; no es un bug del LLM, es cómo los agentes leen texto por diseño.ver en el glosario →

conexiones en el mapa

Automatización de seguridad y playbooks como códigopuede usarIA en el triaje y la mitigación

actualizado el 14/10/2026 · fuentes para profundizar · reportar un error

en otros dominios

Guardrails - filtros de entrada y salidaai-agentsel mismo cuidado con la entrada y la salida del modelo

Estudia antes

pon a prueba lo que entendiste

Cargando preguntas…