¿Qué es el «embedding» en IA?

Por ejemplo, una palabra en un idioma puede ser representada por un vector de números en un espacio de 300 dimensiones, pero ese vector puede ser «embebido» en un espacio de 50 dimensiones, lo que permite comparar palabras de manera más eficiente.

En el contexto de procesamiento del lenguaje natural, las palabras son representadas como vectores de valores reales en un espacio vectorial predefinido, donde palabras con significado similar tienen una representación similar. Esta técnica de representación distribuida densa de palabras es considerada como uno de los principales avances en el campo del Deep Learning para problemas de procesamiento del lenguaje natural.

Capa de Incrustación

Un proceso de aprendizaje puede estar unido con un modelo de red neuronal en una tarea específica, como la clasificación de documentos, o ser un proceso no supervisado que utiliza estadísticas de documentos. Uno de los algoritmos más utilizados es la capa de incrustación, en la que las palabras son representadas como vectores de valores reales en un espacio vectorial predefinido y se aprenden conjuntamente con un modelo de red neuronal. Este enfoque requiere muchos datos de formación y puede ser lento, pero permite aprender una embedding específica para los datos de texto y la tarea de procesamiento del lenguaje natural.

Word2Vec

Word2Vec es un algoritmo de embedding de palabras desarrollado por Google en 2013. El objetivo de Word2Vec es aprender una representación vectorial de valor real para cada palabra en un vocabulario predefinido a partir de un corpus de texto. La idea detrás de Word2Vec es que las palabras que aparecen en contextos similares también tienen significados similares.

Word2Vec utiliza dos modelos principales para aprender las embeddings: el modelo continuo «bag-of-words»(CBOW) y el modelo de ventana deslizante «skip-gram» (SG). El modelo CBOW intenta predecir la palabra objetivo a partir de las palabras de contexto que lo rodean, mientras que el modelo SG intenta predecir las palabras de contexto a partir de la palabra objetivo. Ambos modelos utilizan una red neuronal para aprender las embeddings.

Glove

Por otro lado, GloVe (Global Vectors for Word Representation) es otro algoritmo de embedding de palabras desarrollado en 2014 por la Universidad de Stanford. Al igual que Word2Vec, GloVe busca aprender una representación vectorial de valor real para cada palabra en un vocabulario predefinido a partir de un corpus de texto.

Sin embargo, en lugar de basarse en la idea de que las palabras que aparecen en contextos similares también tienen significados similares, GloVe se basa en la idea de que las palabras que aparecen juntas en un corpus de texto tienden a tener relaciones semánticas similares.

GloVe utiliza una técnica de factorización de matrices para aprender las embeddings. La idea es construir una matriz de co-ocurrencia de palabras a partir del corpus de texto, luego factorizar esta matriz para obtener dos matrices de menor dimensión que contienen las embeddings de palabras. Estas embeddings se aprenden de forma no supervisada y se pueden utilizar en diferentes tareas de procesamiento del lenguaje natural.