LLM - large language model
El LLM es el motor generativo del agente: recibe contexto (system prompt, historial, retrieval, herramientas) y produce la siguiente respuesta. No consulta una base de hechos; usa el contexto para parecer que consulta.
Qué es
Un LLM (Large Language Model) es un modelo generativo entrenado para predecir la siguiente unidad de texto (token) dado todo lo que vino antes. En vez de 'saber' hechos como una enciclopedia, aprendió patrones de lenguaje, código, razonamiento y conocimiento del mundo incrustados en los datos de entrenamiento.
Cuando envías una pregunta, el modelo no consulta nada: lee todo el contexto que le entregaste (system prompt, historial, retrieval, salidas de herramientas) y continúa el patrón. La calidad de la respuesta depende casi por completo de lo que hay en ese contexto, no de lo que el modelo 'sabe'.
Tokens: la unidad real del modelo
Los modelos no leen palabras, leen tokens: fragmentos de texto que pueden ser una palabra entera, parte de una palabra, un número o un símbolo. Un párrafo en portugués típicamente se convierte en 1,3x más tokens que palabras. Esto importa porque todo se cuenta en tokens: prompt de entrada, respuesta de salida, costo, latencia y el límite de la .
La ventana de contexto es el tamaño máximo que el modelo puede mirar de una vez, medido en miles (K) o millones (M). Si pasas el límite, el comienzo del diálogo deja de existir para el modelo. Por eso existen técnicas como el retrieval, el resumen y el recorte de historial.
'Olá, mundo' -> 3 tokens ('Ol', 'á', ', mundo')
'Grandes modelos de linguagem' -> 7 tokens
'functionCalling' -> 6 tokens (3 palabras + 3 subpalabras)
regla práctica PT-BR: ~1 token por 0,75 palabra
regla práctica EN: ~1 token por 0,75 palabraSystem prompt: el contrato con el modelo
El system prompt es el mensaje de sistema que define el comportamiento del modelo: rol, restricciones, formato de salida, política de rechazo. Es la única parte del contexto que el usuario común no escribe, y por eso es la más valiosa.
Un buen system prompt describe tres bloques: identidad y propósito, reglas duras (lo que el modelo nunca debe hacer) y formato de salida (cómo responder). Cuanto más específico, menos inventa el modelo.
Eres un agente de soporte técnico de la empresa X.
Reglas:
- responde en portugués de Brasil, tono profesional y directo
- si no sabes la respuesta, di 'no sé' y ofrece abrir un ticket
- nunca inventes precios, plazos ni números de protocolo
Formato:
- respuestas en máximo 3 párrafos
- cita el artículo de la base de conocimiento cuando lo uses (formato KB-[IDX])Costo y latencia
Cada llamada al modelo tiene dos componentes de costo: tokens de entrada (lo que envías) y tokens de salida (lo que genera). Los tokens de salida suelen costar de 3 a 5 veces más que los de entrada en las APIs comerciales, porque la generación es serial y más cara para el proveedor.
La latencia sigue dos reglas simples: el tiempo hasta el primer carácter depende del tamaño del prompt, y el tiempo total depende de cuántos tokens genera el modelo. Por eso los prompts grandes tardan en empezar y las respuestas largas tardan en terminar, y por eso 'sé conciso' en el system prompt ahorra dinero real.
prompt: 2.000 tokens de entrada
respuesta: 400 tokens de salida
precio (ejemplo genérico):
entrada US$ 3 / 1M tokens -> US$ 0,006
salida US$ 15 / 1M tokens -> US$ 0,006
total US$ 0,012 por llamada
a 10.000 llamadas/mes con el mismo patrón: ~US$ 120/mesLo que el modelo no hace
- consultar datos externos por su cuenta: sin retrieval ni herramienta, solo sabe lo que estaba en el entrenamiento
- recordar conversaciones pasadas: entre llamadas el modelo es stateless; cada turno empieza de cero
- ejecutar código: el modelo devuelve strings, incluso strings que parecen código; la ejecución queda a cargo del runtime
- garantizar verdad factual: las alucinaciones son el estado por defecto cuando el modelo completa patrones sin anclaje en una fuente
- guardar secretos por sí solo: los secretos en el system prompt no se mantienen secretos para siempre; el prompt se filtra vía logs exfiltrados
Limitaciones
- ventana de contexto finita: si pasas el límite, el historial desaparece; si pasas el límite, cambia el costo de la vista.
- el modelo no es determinístico: la misma pregunta puede generar respuestas distintas en cada llamada; la temperatura controla esto
- conocimiento desactualizado: el entrenamiento tiene una fecha de corte; lo que cambió después no existe para el modelo
- el costo crece con el uso: los agentes que llaman al LLM varias veces por tarea multiplican el costo, por las veces de uso
conexiones en el mapa
- RAG - retrieval-augmented generationinyecta contextoLLM - large language model
- LLM - large language modeles el núcleoAgent frameworks
- Guardrails - filtros de entrada y salidafiltra entrada/salidaLLM - large language model
actualizado el 14/10/2026 · fuentes para profundizar · reportar un error
Desbloquea
pon a prueba lo que entendiste
Cargando preguntas…