Enseñando matemáticas a un modelo LLM

8 de enero de 2023

Recientemente, un equipo de investigadores investigadores de la Universidad de Montreal y Google Research, ha demostrado que es posible enseñar razonamiento Matemático a los modelos de lenguaje de gran tamaño (LLMs) a través de aprendizaje en contexto, un enfoque que han denominado «prompting algorítmico». Este hallazgo es importante porque los LLMs son un tipo de modelo de inteligencia artificial que se utiliza en una amplia variedad de aplicaciones, como el procesamiento del lenguaje natural y la traducción automática.

Los investigadores evaluaron su enfoque en una serie de tareas de razonamiento aritmético y cuantitativo, y observaron un aumento significativo en el rendimiento en comparación con las técnicas de prompting existentes.

Este trabajo tiene implicaciones importantes para la forma en que se utilizan los LLMs en el futuro. Al poder enseñarles razonamiento algorítmico, se pueden utilizar en aplicaciones en las que se necesita un mayor nivel de comprensión y procesamiento de información.

Matematicas — Enseñando matemáticas a un modelo LLM

Cuatro etapas clave en el estudio

En este trabajo, los investigadores identificaron cuatro etapas clave para enseñar con éxito el razonamiento algorítmico a los modelos de lenguaje de gran tamaño (LLM). Las cuatro etapas clave para enseñar el razonamiento algorítmico a los modelos de lenguaje de gran tamaño (LLM) son:

Formular algoritmos como habilidades: Esto implica enseñar a los LLM a realizar una tarea específica siguiendo un conjunto de reglas o instrucciones. Por ejemplo, se podría enseñar a un LLM a ordenar una lista de números utilizando el algoritmo de ordenamiento «burbuja».
Enseñar múltiples habilidades simultáneamente (acumulación de habilidades): Una vez que un LLM ha aprendido a realizar una tarea específica, se le puede enseñar a realizar varias tareas simultáneamente. Por ejemplo, un LLM podría aprender a ordenar una lista de números y, al mismo tiempo, aprender a realizar cálculos matemáticos básicos como la adición y la multiplicación.
Enseñar cómo usar habilidades (composición de habilidades): Una vez que un LLM ha aprendido varias habilidades, se le puede enseñar a combinarlas para resolver problemas más complejos. Por ejemplo, un LLM podría aprender a utilizar sus habilidades de ordenamiento y cálculo matemático para resolver problemas de optimización.
Enseñar cómo usar habilidades como herramientas: Finalmente, un LLM puede aprender a usar sus habilidades como herramientas para resolver problemas de manera más eficiente. Por ejemplo, un LLM podría aprender a utilizar su habilidad de ordenamiento para identificar patrones en conjuntos de datos y tomar decisiones basadas en esos patrones.

Conclusiones

Los investigadores concluyen que es posible enseñar el razonamiento algorítmico a los modelos de lenguaje de gran tamaño (LLMs) a través del aprendizaje en contexto, utilizando su enfoque de «prompting algorítmico». Al evaluar este enfoque en una variedad de tareas de razonamiento aritmético y cuantitativo, los investigadores observaron un aumento significativo en el rendimiento en comparación con las técnicas de prompting existentes.

En particular, en tareas de paridad a largo plazo, aumento, multiplicación y sustracción, se observó una reducción del error de aproximadamente 10x, 9x, 5x y 2x, respectivamente, en comparación con las mejores líneas base disponibles.