La Kungliga biblioteket (KB), la biblioteca nacional de Suecia, ha acumulado una colección diversa de casi 26 petabytes de datos gracias a una ley centenaria que requiere que se envíe una copia de todo lo publicado en sueco a la biblioteca. Esta colección incluye libros, periódicos, programas de radio y televisión, contenido de internet, tesis …
El laboratorio de datos de la biblioteca, KBLab, ha utilizado estos datos para desarrollar modelos de inteligencia artificial de vanguardia para el idioma sueco. Utilizando sistemas NVIDIA DGX, el equipo ha desarrollado más de dos docenas de modelos de transformadores de código abierto, disponibles en HuggingFace. Estos modelos son descargados por hasta 200,000 desarrolladores al mes y permiten la investigación en la biblioteca y otras instituciones académicas.
Antes de la creación de KBLab, los investigadores no podían acceder a un conjunto de datos completo en la biblioteca y debían examinar un solo objeto a la vez. Ahora, los investigadores pueden crear conjuntos de datos hiperespecializados, como extraer cada postal sueca que representa una iglesia, cada texto escrito en un estilo particular o cada mención de una figura histórica en libros, artículos de periódicos y transmisiones de televisión.
NVIDIA AI y las GPU aceleran el desarrollo de modelos
El laboratorio de KBLab comenzó utilizando GPU NVIDIA de nivel de consumidor, pero pronto descubrieron que necesitaban computación a escala de centro de datos para entrenar modelos más grandes. «Nos dimos cuenta de que no podemos seguir el ritmo si tratamos de hacer esto en estaciones de trabajo pequeñas», dijo Börjeson. «Fue una obviedad optar por NVIDIA DGX. Hay muchas cosas que no podríamos hacer sin los sistemas DGX».
El laboratorio cuenta con dos sistemas NVIDIA DGX del proveedor sueco AddPro para el desarrollo de IA en las instalaciones. Estos sistemas se utilizan para manejar datos confidenciales, realizar experimentos a gran escala y ajustar modelos. También se utilizan para preparar ejecuciones aún más grandes en supercomputadoras masivas basadas en GPU en toda la Unión Europea, incluyendo el sistema MeluXina en Luxemburgo.
El equipo también adoptó NVIDIA NeMo Megatron, un marco basado en PyTorch para entrenar modelos de lenguaje grandes, con NVIDIA CUDA y la biblioteca NVIDIA NCCL bajo el capó para optimizar el uso de GPU en sistemas de múltiples nodos. Según Börjeson, «dependemos en gran medida de los marcos de NVIDIA».
Esto es una gran ventaja para KBLab ya que, como un pequeño laboratorio, no cuentan con la capacidad de tener 50 ingenieros disponibles para optimizar el entrenamiento de IA para cada proyecto. La adopción de marcos de NVIDIA permite a KBLab aprovechar al máximo la computación a escala de centro de datos y las GPU para entrenar modelos de IA de vanguardia.
Referencias.
.- Curso de especialización en Inteligencia Artificial, Universidad de Buenos Aires, Argentina (2018-2019)
- [con]Neurona #18 - 24 de junio de 2023
- Snowflake en conversaciones avanzadas para adquirir la startup de búsqueda de inteligencia artificial Neeva - 18 de mayo de 2023
- La importancia de la anotación de la tonalidad de piel en la visión por computadora - 16 de mayo de 2023
