carreiras
AI Security Engineer
Proteja sistemas que leem texto não confiável, chamam ferramentas e agem no mundo.
Um engenheiro de segurança de IA protege aplicações construídas sobre modelos de linguagem e agentes: pipelines de recuperação, tool calling, protocolos como o MCP, e a avaliação que diz se eles são seguros para ir ao ar. A área é jovem e muda rápido, então o trabalho premia fundamentos e medição cuidadosa mais do que truques decorados.
ver este caminho no mapa da jornadaUm dia no cargo
- Fazer threat modeling de funcionalidades com LLM: que entrada não confiável chega ao modelo e o que ele pode fazer com ela.
- Revisar desenhos de recuperação e tool calling em busca de injeção, vazamento de dados e agência excessiva.
- Projetar guardrails e limites de permissão em volta dos agentes, e testar que eles se mantêm.
- Construir conjuntos de avaliação e testes de regressão para que uma mudança de prompt ou de modelo não enfraqueça a segurança em silêncio.
- Avaliar ferramentas e servidores de terceiros que os agentes têm permissão de usar.
Etapa 1· Fundamentos
Entender como se comportam modelos de linguagem, embeddings e chunking.
Estude aqui
Aprenda em outros lugares
- Python e chamar uma API de modelo
- Vocabulário básico de aprendizado de máquina
- Prompt injection como conceito, e por que é difícil de prevenir por completo
Construa isto
Monte um app de recuperação minúsculo e anote cada lugar em que texto não confiável chega ao modelo.
Etapa 2· Prática
Proteger recuperação, tool calling e os guardrails em volta deles.
Estude aqui
- Vector DB
- Retrieval
- RAG - retrieval-augmented generation
- Tool calling
- Guardrails - filtros de entrada e saída
- Evals - qualidade medida em produção
Aprenda em outros lugares
- Controle de acesso aplicado aos documentos recuperados
- Saídas estruturadas e validação de esquema
- Fundamentos de segurança de aplicações para o serviço em volta
Construa isto
Plante uma instrução maliciosa num documento, veja o seu app obedecê-la e corrija com permissões e validação.
Etapa 3· Avançado
Governar agentes, ferramentas de terceiros e a qualidade ao longo do tempo.
Estude aqui
- MCP - model context protocol
- Agent frameworks
- Orchestration
- LLM as judge - rubrica automatizada
- Regression evals - suite fixa no PR
- IA na triagem e na mitigação
- Protegendo o próprio agent
- O loop de verificação
Aprenda em outros lugares
- Revisão da cadeia de suprimentos de ferramentas, plugins e servidores
- Metodologia de red teaming para sistemas de IA
- Frameworks de política e gestão de risco para IA
Construa isto
Monte uma suíte de regressão a partir de falhas reais e ligue-a como um gate que barra mudanças de prompt ou modelo que a piorem.
O que mostrar
- Um threat model de um agente que lê e-mails e chama ferramentas, com os limites de permissão que você imporia.
- Uma suíte de avaliação de resistência a prompt injection que roda no CI.
- Uma revisão de um servidor de ferramentas de terceiros: que acesso ele pede, o que pode dar errado e o que você restringiria.
Certificações (exemplos)
Ainda não existe uma certificação madura e amplamente reconhecida: prefira trabalho público, como exercícios do OWASP LLM Top 10, revisões escritas e suítes de avaliação abertas.