Chunking

El chunking es el proceso de dividir un documento en fragmentos más pequeños que serán indexados y recuperados. El tamaño del fragmento no es un detalle: define qué cabe en la ventana del modelo, cuál es la unidad de búsqueda y cuál es la granularidad de la cita que aparece en la respuesta.

En casi toda arquitectura RAG, el chunking ocurre una vez en la ingesta y nunca más. El pipeline estándar lee el documento, aplica un splitter, genera un embedding por bloque y sigue. Si el corte se pensó mal, todo el índice carga con el problema hasta que alguien rehaga la indexación.

La pregunta más común es '¿cuál es el tamaño correcto?'. La respuesta honesta es 'depende'. Para preguntas cortas y respuestas factuales, los bloques pequeños funcionan mejor: cada bloque lleva una sola idea, así que el retrieval trae el pasaje exacto. Para preguntas que exigen razonamiento entre párrafos, los bloques más grandes preservan el contexto, y los bloques demasiado pequeños rompen el argumento a la mitad.

El solapamiento (overlap) es el segundo parámetro. Sin solapamiento, una idea que empieza al final de un bloque y continúa al comienzo del siguiente queda huérfana: ninguno de los dos bloques tiene el sentido completo. Con un solapamiento de 10 a 20% del tamaño del bloque, el inicio del siguiente repite el final del anterior, así que la frontera nunca corta una frase por la mitad.

Tres familias dominan la práctica. La primera es el corte por caracteres o tokens, simple y predecible, que funciona cuando el documento es prosa limpia. La segunda es el corte recursivo por separadores, que intenta romper primero por párrafo, luego por frase, luego por palabra, y por carácter solo como último recurso. Preserva la estructura del texto sin necesitar un modelo. La tercera es el corte semántico, que agrupa frases por similitud y solo corta cuando la siguiente frase tiene poca relación con la anterior. Cuesta más y usa embeddings, pero produce bloques coherentes.

También existe el corte por estructura: títulos, secciones, celdas de tabla, párrafos de código. En documentos con marcado claro (Markdown, HTML, docx convertido), separar por estructura y mantener la jerarquía en el metadata da chunks más útiles que cualquier splitter genérico.

LangChain ofrece el splitter recursivo listo. El ejemplo configura tamaño y overlap y lo aplica a un texto cualquiera. Para texto en portugués, conviene separar por párrafo, frase y palabra, en ese orden.