Qué hace realmente un modelo de lenguaje

Le pasas las notas de una reunión a un asistente de IA y le pides que redacte el correo para el cliente. El borrador queda bien: claro, amable, sin las vueltas que tú le habrías dado. Estás por enviarlo cuando lees: «Entregaremos el viernes». Un momento, ¿quién dijo nada sobre entregar el «viernes»?

Le pediste que redactara un correo, no que se comprometiera por ti. Pero ahí está la fecha, escrita con la misma seguridad que el resto. No hay nada en esa frase que te avise que se la inventó. ¿Cómo puede escribir tan bien y equivocarse en algo tan concreto?

Detrás del chat hay un modelo de lenguaje, un sistema entrenado con texto para generar texto. El asistente es la aplicación que lo rodea y que, según el producto, también puede buscar en internet, abrir archivos o usar otras herramientas. El modelo se encarga de redactar, incluido ese viernes que nadie acordó. Sigamos el recorrido de las notas hasta el correo para entender de dónde sale.

Aprendió prediciendo qué venía después

Si lees «Te adjunto el…», puedes imaginar lo que sigue: informe, presupuesto, contrato. Difícilmente pensarías en un aguacate. Ahora cambia la frase por «Para el guacamole, corta el…» y el aguacate encaja sin problema. Lo que viene antes cambia lo que esperamos después.

Un ejercicio parecido es una parte central del entrenamiento de los modelos que usan muchos asistentes, pero no se trata de completar la frase al azar. A partir de un texto, el modelo asigna probabilidades a las posibles continuaciones. El entrenamiento ajusta sus valores internos para aumentar la probabilidad de la continuación que aparece en el texto de entrenamiento. Esos valores numéricos se llaman parámetros; los modelos grandes pueden tener miles de millones.

Al repetirlo con enormes cantidades de texto, el modelo aprende más que frases frecuentes. Para predecir bien también necesita captar relaciones entre ideas, datos y pasos de una explicación. De ahí salen capacidades como traducir, explicar y resolver ciertos problemas. Otras etapas del entrenamiento lo preparan para seguir instrucciones y responder de forma útil. Eso no garantiza que cada frase tenga una fuente que la respalde.

Por eso puede reproducir el tono y la estructura de un correo de seguimiento sin tener ningún registro de tu reunión. Predecir cómo se redacta un compromiso y comprobar que alguien lo asumió son tareas distintas. Para redactar lo que acordaron en esa reunión, necesita las notas y debe respetar su contenido: qué se prometió, quién se comprometió y qué quedó pendiente.

Si corriges la fecha en el chat, puede tomar en cuenta la corrección al responder de nuevo. Una conversación normal no modifica los parámetros que aprendió durante el entrenamiento. Que el asistente recuerde esa corrección la próxima semana depende de lo que la aplicación guarde y vuelva a pasarle.

Qué pasa con las notas que le envías

Ya pegaste las notas en el chat. Tú ves frases; el modelo procesa representaciones numéricas de esas frases. Primero se divide el texto en piezas llamadas tokens. Un token puede ser una palabra, parte de ella o un signo de puntuación. Es una unidad para procesar texto, no necesariamente una unidad de significado: una sola palabra puede ocupar varios tokens.

Cada token tiene un número que lo identifica y permite consultar una lista de valores numéricos llamada embedding. Esos valores, aprendidos durante el entrenamiento, son una representación inicial, no una definición de diccionario. Luego, distintas capas de cálculo la transforman usando el texto que la rodea. Piensa en «me senté en el banco» y «el banco aprobó el crédito»: lo que acompaña a «banco» permite distinguir sus dos usos.

También hace falta el orden. «El cliente llamó al proveedor» y «El proveedor llamó al cliente» tienen las mismas palabras, pero cambia quién hizo la llamada. Los cálculos del modelo tienen que tomar en cuenta esa diferencia.

Por eso contar páginas dice poco sobre cuánto texto admite un modelo: esa capacidad se mide en tokens. La aplicación puede tener, además, sus propios límites de tamaño de archivo. Pero convertir las notas en números es apenas el comienzo. Lo que hace útil al modelo depende de las relaciones que calcula a partir de ellas.

La respuesta se arma, no se consulta

Al enviar tu mensaje, la aplicación reúne el pedido, las notas, quizá mensajes anteriores y sus propias instrucciones. El modelo trabaja con lo que recibe, no con todo lo que tú sabes de la reunión. A ese uso del modelo ya entrenado se le llama inferencia: es cuando aplica lo aprendido a lo que le estás pidiendo.

¿Cómo relaciona una parte de las notas con otra? En el diseño transformer que usan estos modelos, la atención calcula cuánto peso dar a la información de distintas posiciones del texto al combinarla. En «El proveedor necesita más tiempo. Mañana confirmará la fecha», eso puede ayudar a relacionar la segunda frase con el proveedor. El mecanismo trabaja junto con otros cálculos, a lo largo de muchas capas; no hay un lector aparte identificando quién hizo qué.

Aquí la atención es un cálculo, no una garantía de lectura cuidadosa. El modelo puede relacionar lo suficiente como para darte un buen resumen y aun así pasar por alto «la fecha no está confirmada». Basta esa omisión para que el correo prometa algo distinto.

El modelo genera el correo en lugar de recuperar una respuesta ya redactada. Calcula las probabilidades del siguiente token a partir del contexto disponible y de sus parámetros. El sistema selecciona un token según esas probabilidades y sus ajustes de generación, lo agrega a la respuesta y repite el proceso. Eso es la predicción del siguiente token. Producir un token a la vez no significa considerar solo la palabra anterior: el cálculo puede incorporar un pasaje extenso. La probabilidad corresponde a una continuación del texto, no a una comprobación de que lo dicho sea cierto.

Volvamos al viernes. Después de «Entregaremos el viernes», encaja muy bien «Por favor, envíanos tus comentarios antes del jueves». Ahora el cliente también tiene una fecha que cumplir. El modelo a veces se corrige, pero elegir la siguiente pieza no comprueba por sí solo si alguien hizo esa promesa. Todo el párrafo puede tener sentido y partir de un dato inventado.

Quizá hayas notado que, al repetir el pedido, cambia la redacción. El sistema puede tomar el token de mayor probabilidad o hacer un muestreo: seleccionar entre alternativas según las probabilidades asignadas. Un ajuste llamado temperatura modifica esa distribución; al bajarlo, las opciones más probables concentran más peso. Eso tiende a reducir la variación, pero no comprueba los datos. Te puede dar la misma fecha equivocada dos veces.

Pero si eso ya se lo había dicho

Supón que diez mensajes antes le dijiste que no prometiera una fecha. La instrucción sigue ahí; puedes subir por el chat y leerla. ¿Por qué no la tomó en cuenta?

Hay un límite para la cantidad de texto con la que puede trabajar a la vez, entre el material que recibe y la respuesta que genera. Ese espacio se llama ventana de contexto. La imagen de un escritorio sirve para explicar el límite: solo caben ciertos papeles. No explica qué tan bien se usará su contenido. Ampliar el contexto aumenta la capacidad, no necesariamente la fiabilidad.

La aplicación decide qué pone sobre ese escritorio. Puede enviar los mensajes recientes, resumir los anteriores o seleccionar fragmentos del archivo que subiste. El chat que ves en pantalla no siempre coincide con lo que recibe el modelo para responder. Tú puedes seguir viendo la instrucción aunque ya no forme parte de lo que le enviaron.

También puede haber recibido la instrucción completa y no haberla seguido. Un dato puede estar presente sin influir lo suficiente en la respuesta; incluso su posición dentro de un texto largo puede afectar el resultado. Eso es distinto de no haberlo recibido. Antes de agregar más páginas o repetir el pedido, conviene separar tres preguntas: ¿cabía el material?, ¿se le envió?, ¿lo usó bien al responder?

Qué le podemos confiar

Decir que «solo predice texto» tampoco le hace justicia. El modelo puede aplicar relaciones aprendidas a material que no encontró durante el entrenamiento: traducir un pasaje nuevo, explicarlo de otra forma u organizar notas sueltas en un correo claro. Son capacidades reales. Una redacción nueva no demuestra por sí sola comprensión humana, como una redacción fluida tampoco demuestra exactitud. Lo útil es examinar qué resuelve y cómo comprobamos el resultado.

A una afirmación falsa o sin respaldo presentada como un hecho se le suele llamar alucinación. Nuestro viernes es un ejemplo, no la explicación de todos esos errores. El modelo podría agregar una fecha que no aparece en las notas, pero también convertir «el viernes, si el cliente aprueba» en una promesa sin condiciones. En el segundo caso, la fuente estaba ahí; lo que se perdió fue la condición. Ninguno de los dos errores tiene por qué sonar inseguro.

Las herramientas pueden mejorar la respuesta: una búsqueda aporta el acuerdo, un calendario permite consultar una fecha y una calculadora resuelve una suma. Pero el asistente podría recuperar un acuerdo desactualizado o atribuirle a un proyecto la fecha de otro. Las herramientas aportan evidencia y capacidades concretas; el sistema aún tiene que usarlas bien. Un enlace junto a la respuesta no basta: tiene que llevarte a algo que respalde lo que dice.

Para nuestro correo, empieza por pasarle las notas y pedirle algo concreto: «Redacta el correo de seguimiento. Incluye solo los compromisos que aparezcan en estas notas. Si falta una fecha, déjala como pendiente». Le estás dando una forma útil de resolver el dato que falta sin inventarlo.

Después compara el borrador con las notas. ¿Están bien los nombres? ¿De dónde salen las fechas? ¿Lo que era un «podríamos» terminó convertido en un «vamos a»? Una mejor instrucción ayuda, pero no reemplaza esa revisión. Si la empresa quiere automatizarlo, decidir quién o qué comprueba los compromisos también es parte del trabajo.

Para mí, la cuenta es sencilla: ¿me ahorró tiempo después de incluir la revisión? Un borrador al que solo hay que comprobarle unos datos puede ayudar mucho. Si tengo que reconstruir toda la reunión para saber qué agregó, quizá solo cambié un trabajo por otro.

Aprovecha el buen correo. Antes de enviarlo, confirma que acordaron entregar el viernes. El cliente va a esperar la entrega, no una explicación de cómo funciona un modelo de lenguaje.

Notas de fuentes

Estas fuentes primarias sustentan la explicación. La reunión y el correo son ejemplos hipotéticos. Los detalles varían según el modelo y la aplicación.

• Cómo relaciona distintas partes del texto. Vaswani y sus coautores presentaron el diseño transformer, su mecanismo de atención y la forma de representar el orden de las palabras. Fuente: «Attention Is All You Need», 2017.
• Por qué se dividen las palabras. Sennrich, Haddow y Birch describen un método para representar el texto con piezas más pequeñas que las palabras. Fuente: «Neural Machine Translation of Rare Words with Subword Units», 2015.
• Qué se logra al predecir la siguiente pieza. Brown y sus coautores describen el entrenamiento y los resultados de las pruebas de GPT-3; OpenAI documenta capacidades y límites de GPT-4. Fuentes: Brown et al., 2020; OpenAI, 2023.
• Uso de contextos largos. Liu y sus coautores observaron que la posición de la información pertinente afectaba el desempeño de los modelos en las tareas estudiadas. Que quepa más texto no asegura que se aproveche bien. Fuente: «Lost in the Middle», 2023.