Ejecute más de 100B+ modelos de lenguaje en casa, al estilo de BitTorrent. Ajuste e inferencia hasta 10 veces más rápido que la descarga. La CPU es suficiente para ejecutar un cliente y una GPU para ejecutar un servidor de manera eficiente.
¿Cómo funciona?
Petals es una plataforma que permite a los usuarios ejecutar modelos de lenguaje grandes de forma colaborativa. Esto significa que cargas una pequeña parte del modelo y luego te unes a otros usuarios que sirven las otras partes para ejecutar inferencias o ajustes.
La inferencia se ejecuta aproximadamente a un segundo por paso (token), lo que es 10 veces más rápido de lo que es posible con la descarga completa del modelo. Esto es suficientemente rápido para chatbots y otras aplicaciones interactivas.
Además, la inferencia paralela puede alcanzar cientos de tokens por segundo. Además de las API del modelo de lenguaje clásico, Petals también permite el uso de cualquier método de ajuste y muestreo mediante la ejecución de rutas personalizadas a través del modelo o el acceso a sus estados ocultos. Esto ofrece la comodidad de una API con la flexibilidad de PyTorch.
¿Por qué es una opción interesante ?
Existen varias razones por las que las personas podrían estar interesadas en alojar capas de modelo en el cluster público de Petals. Una de ellas es obtener una aceleración al ejecutar inferencias y ajustes localmente. Otra razón podría ser «retribuir» a la comunidad al ayudar a ejecutar el modelo, algo similar a cómo los usuarios de BitTorrent comparten datos que ya han descargado.
Para fomentar aún más la participación en el grupo público, Petals está trabajando en la introducción de incentivos explícitos llamados «puntos de crecimiento». Estos puntos serán otorgados a las personas que donen su tiempo de GPU al enjambre público y podrán ser utilizados para obtener inferencias/ajustes con mayor prioridad o mayores garantías de seguridad.
¿Por qué se llama Petals la plataforma?
El nombre «Petals» es una metáfora de las personas que sirven diferentes partes del modelo de lenguaje llamado BLOOM. Juntos, estas personas albergan todo el modelo de lenguaje. Aunque en este momento la plataforma se enfoca en BLOOM, el objetivo es admitir más modelos abiertos.
Enlaces y Referencias:
.- Código: https://github.com/bigscience-workshop/petals
.- Paper: https://arxiv.org/pdf/2209.01188.pdf
Cursando Licenciatura en Ciencias de Datos en INTEC. Sto.Domingo
🆂.🅰.🆁.🅰 🇩🇴
- [con]Neurona #26 - 18 de diciembre de 2023
- [con]Neurona #25 - 10 de diciembre de 2023
- [con]Neurona #24 - 2 de diciembre de 2023
