carreras
AI Security Engineer
Protege sistemas que leen texto no confiable, llaman herramientas y actúan en el mundo.
Un ingeniero de seguridad de IA protege aplicaciones construidas sobre modelos de lenguaje y agentes: pipelines de recuperación, tool calling, protocolos como MCP, y la evaluación que dice si son seguros para salir a producción. El área es joven y cambia rápido, así que el trabajo premia los fundamentos y la medición cuidadosa más que los trucos memorizados.
ver este camino en el mapa del recorridoUn día en el cargo
- Hacer threat modeling de funcionalidades con LLM: qué entrada no confiable llega al modelo y qué puede hacer con ella.
- Revisar diseños de recuperación y tool calling en busca de inyección, fuga de datos y agencia excesiva.
- Diseñar guardrails y límites de permisos alrededor de los agentes, y probar que se sostienen.
- Construir conjuntos de evaluación y pruebas de regresión para que un cambio de prompt o de modelo no debilite la seguridad en silencio.
- Evaluar herramientas y servidores de terceros que los agentes pueden usar.
Etapa 1· Fundamentos
Entender cómo se comportan los modelos de lenguaje, los embeddings y el chunking.
Estudia aquí
Aprende en otros lugares
- Python y llamar a una API de modelo
- Vocabulario básico de aprendizaje automático
- Prompt injection como concepto, y por qué es difícil de prevenir por completo
Construye esto
Monta una app de recuperación mínima y anota cada lugar donde texto no confiable llega al modelo.
Etapa 2· Práctica
Proteger la recuperación, el tool calling y los guardrails que los rodean.
Estudia aquí
- Vector DB
- Retrieval
- RAG - retrieval-augmented generation
- Tool calling
- Guardrails - filtros de entrada y salida
- Evals - calidad medida en producción
Aprende en otros lugares
- Control de acceso aplicado a los documentos recuperados
- Salidas estructuradas y validación de esquemas
- Fundamentos de seguridad de aplicaciones para el servicio que lo rodea
Construye esto
Planta una instrucción maliciosa en un documento, mira a tu app obedecerla y corrígelo con permisos y validación.
Etapa 3· Avanzado
Gobernar agentes, herramientas de terceros y la calidad a lo largo del tiempo.
Estudia aquí
- MCP - model context protocol
- Agent frameworks
- Orchestration
- LLM as judge - rúbrica automatizada
- Regression evals - suite fija en el PR
- IA en el triaje y la mitigación
- Proteger al propio agent
- El loop de verificación
Aprende en otros lugares
- Revisión de la cadena de suministro de herramientas, plugins y servidores
- Metodología de red teaming para sistemas de IA
- Marcos de política y gestión de riesgos de IA
Construye esto
Arma una suite de regresión a partir de fallas reales y conéctala como un gate que bloquee cambios de prompt o modelo que la empeoren.
Qué mostrar
- Un threat model de un agente que lee correos y llama herramientas, con los límites de permisos que impondrías.
- Una suite de evaluación de resistencia a prompt injection que corre en el CI.
- Una revisión de un servidor de herramientas de terceros: qué acceso pide, qué puede salir mal y qué restringirías.
Certificaciones (ejemplos)
Todavía no existe una certificación madura y ampliamente reconocida: prefiere trabajo público, como ejercicios del OWASP LLM Top 10, revisiones escritas y suites de evaluación abiertas.