Nuevo método de mejora de Modelos de Lenguaje Grandes: «Synthetic Prompting»

7 de febrero de 2023

Los Modelos de Lenguaje Grandes (LLMs) han demostrado ser herramientas valiosas para realizar tareas de razonamiento y diálogo, pero aún existe una brecha en su capacidad para realizar tareas de razonamiento complejas. Un nuevo método llamado «Synthetic Prompting» busca mejorar esta capacidad.

¿Qué es Synthetic Prompting?

La técnica de Synthetic Prompting consiste en utilizar un conjunto limitado de ejemplos de demostración para generar más ejemplos a través de un proceso alternativo de hacia atrás y hacia adelante. Este proceso permite generar más ejemplos de demostración y mejorar la capacidad del LLM para realizar tareas de razonamiento.

El proceso de Synthetic Prompting consta de dos partes:

Proceso hacia atrás: Genera una pregunta a partir de una cadena de razonamiento generada por el modelo.
Proceso hacia adelante: Produce una cadena de razonamiento más detallada para la pregunta generada en el proceso hacia atrás.
Selección de demostraciones efectivas

La selección de las demostraciones más efectivas se realiza a través de un esquema de selección basado en la complejidad dentro del grupo, que busca maximizar la diversidad e informatividad de las demostraciones. Se demostró que el método de Synthetic Prompting es más efectivo que los métodos previos en tareas de razonamiento numérico, simbólico y algorítmico.

Procesos

Proceso hacia atrás: Se sintetiza una pregunta a partir de una palabra temática y una complejidad de razonamiento objetivo.
Proceso hacia adelante: Se sintetiza una cadena de razonamiento más precisa para la pregunta producida en el proceso hacia atrás.
Control de la complejidad de razonamiento. Para mejorar el control de la complejidad de razonamiento, se numeran los pasos de razonamiento en el proceso hacia atrás.
Conﬁanza en la respuesta. La confianza en la respuesta producida por la cadena de razonamiento sintetizada se mide utilizando la proporción de cadenas de razonamiento que llevan a la misma respuesta.

Selección de demostraciones

Durante la fase de inferencia, se seleccionan un subconjunto de ejemplos sintetizados como demostraciones para el modelo. Se propone un esquema basado en la complejidad dentro del cluster para seleccionar demostraciones que sean complejas y complementarias. Los ejemplos sintetizados se agrupan en un espacio de incrustación semántica utilizando Sentence-BERT como codificador.

El artículo describe tres datasets: «GSM8K», «Colored Objects» y «Repeat Copy». Se asume acceso a 2 o 4 ejemplos aleatorios de cada dataset por defecto. El artículo describe varias técnicas de promoción, incluyendo Direct Prompting, CoT Prompting y PAL Prompting. Vanilla SYNTHETIC PROMPTING es una variante de SYNTHETIC PROMPTING que consiste en sintetizar preguntas imitando preguntas de semillas.

Detalles de implementación

Se utiliza InstructGPT como modelo de lenguaje trasero. Se utiliza top-p sampling para la síntesis y decodificación greedy para la inferencia. Los ejemplos de semilla se seleccionan aleatoriamente de los datasets. Las anotaciones de los ejemplos de semilla se realizan manualmente siguiendo los protocolos de anotación. Los resultados muestran que la técnica de «Synthetic Prompting» supera a los modelos anteriores en tareas de razonamiento numérico, simbólico y algorítmico.

Se realizaron estudios de ablación en los datasets «GSM8K» y «Colored Objects». Los resultados muestran que diferentes condiciones utilizadas en la síntesis de preguntas afectan el rendimiento de la inferencia y la calidad de los ejemplos sintetizados.

Los autores encontraron que el aumento del número de ejemplos de semilla de 2 a 8 no mejora significativamente el rendimiento, especialmente en los datasets «GSM8K» y «Repeat Copy».

Uso de la técnica «Synthetic Prompting» en el desarrollo de modelos de lenguaje grandes (LLMs)

Un estudio reciente evaluó el uso de diferentes técnicas de promoción sintética y selección de demostraciones para mejorar el rendimiento de los modelos de lenguaje grandes (LLMs) en tareas de razonamiento. Los resultados mostraron que la técnica de «Synthetic Prompting» superó a los modelos anteriores en tareas de razonamiento numérico, simbólico y algorítmico.

Revisión bibliográfica sobre el uso de «Synthetic Prompting» en el desarrollo de soluciones para problemas matemáticos y de lenguaje

Otro estudio revisó la literatura sobre el uso de «Synthetic Prompting» en el desarrollo de soluciones para problemas matemáticos y de lenguaje. Se presentaron referencias a otros estudios relacionados con este tema, incluyendo:

«MAWPS: A math word problem repository»
«On the advance of making language models better reasoners»
«Worker and AI collaboration for natural language inference dataset creation»
«What makes good in-context examples for gpt-3?»
«Zero-shot in-context learning with pseudo-demonstrations»
«A diverse corpus for evaluating and developing English math word problem solvers»
«Training language models to follow instructions with human feedback»
«Are NLP models really able to solve simple math word problems?»
«Reasoning like program executors».

Estos estudios abarcan una amplia gama de técnicas y aplicaciones relacionadas con el uso de modelos de lenguaje en tareas de razonamiento matemático y de lenguaje.

Desarrollo de soluciones para problemas matemáticos y de lenguaje

El desarrollo de soluciones efectivas para problemas matemáticos y de lenguaje es un desafío importante en el campo de la inteligencia artificial. La utilización de modelos de lenguaje grandes (LLMs) es una herramienta valiosa para resolver estos problemas, pero aún existen desafíos en términos de rendimiento y capacidad de razonamiento.

Para abordar estos desafíos, algunos estudios han evaluado el uso de técnicas de promoción sintética para mejorar el rendimiento de los LLMs en tareas de razonamiento. La técnica de «Synthetic Prompting» ha demostrado ser más efectiva que las versiones anteriores en términos de complejidad y tasa de error.