Hugging Face y ServiceNow han colaborado para desarrollar un nuevo modelo de lenguaje de código abierto llamado StarCoder, diseñado para ayudar a los programadores a generar código fuente de manera más eficiente. Este modelo es una versión mejorada del modelo StarCoderBase, entrenado con 35 mil millones de tokens de Python, y forma parte de la iniciativa BigCode.
¿Qué es StarCoder y cómo funciona?
StarCoder es un modelo de lenguaje de código abierto con 15.5 mil millones de parámetros y entrenado con más de 1 billón de tokens, capaz de generar código para 80 lenguajes de programación diferentes. Aunque es un asistente técnico, no emite instrucciones o directivas. En su lugar, los usuarios pueden seguir las indicaciones en pantalla para convertirlo en una herramienta de programación útil.
¿Cómo se creó StarCoder?
El modelo StarCoder se creó utilizando datos de GitHub, incluyendo más de 80 lenguajes de programación, commits de Git, problemas de GitHub y cuadernos Jupyter. Este conjunto de datos se preprocesó para incluir solo contenido con licencias permisivas, asegurando que el modelo resultante pueda generar código fuente mientras cumple con los criterios legales.
Para abordar las preocupaciones sobre la producción de información incorrecta y ofensiva, los investigadores han lanzado los modelos StarCoder bajo una licencia de modelo de IA responsable y han abierto todos los repositorios de código para crear el modelo en GitHub. Además, se han incluido restricciones de uso en la licencia del modelo y se han proporcionado herramientas de atribución para que los usuarios finales puedan identificar generaciones de modelos potencialmente plagiadas.
¿Cómo se compara StarCoder con otros modelos de lenguaje de código?
Aunque StarCoder no es el primer modelo de lenguaje de código en el mercado, ha demostrado ser un competidor fuerte. El modelo ha demostrado ser tan bueno o incluso mejor que modelos cerrados como el código-Cushman-001 de OpenAI (el modelo original de Codex que impulsó las primeras versiones de GitHub Copilot).
Además, otros modelos de lenguaje de código basados en LLM continúan mejorando. Los investigadores de Google demostraron recientemente que estos modelos pueden utilizarse para la auto-depuración. Microsoft ha lanzado su propio modelo de lenguaje de código llamado GitHub Copilot, y Amazon ha lanzado CodeWhisperer. La empresa india Replit también se ha unido a la carrera de los LLM.
Nuestro análisis
El lanzamiento de StarCoder es una noticia emocionante para la comunidad de programadores. El modelo de lenguaje de código abierto tiene el potencial de mejorar significativamente la eficiencia y la productividad de los programadores, lo que podría tener un impacto positivo en la industria de la tecnología en general.
Sin embargo, es importante tener en cuenta las limitaciones del modelo. Como con cualquier modelo de lenguaje de código basado en LLM, existe el riesgo de que se produzca información incorrecta o ofensiva. Es alentador ver que los investigadores han tomado medidas para abordar estas preocupaciones, lanzando el modelo bajo una licencia de modelo de IA responsable y proporcionando herramientas de atribución para los usuarios finales.
En general, StarCoder es un paso emocionante hacia el futuro de la programación y la inteligencia artificial. Con su capacidad para generar código fuente para 80 lenguajes de programación diferentes, el modelo tiene el potencial de ser una herramienta valiosa para los programadores de todo el mundo.
Cursando Licenciatura en Ciencias de Datos en INTEC. Sto.Domingo
🆂.🅰.🆁.🅰 🇩🇴
- [con]Neurona #26 - 18 de diciembre de 2023
- [con]Neurona #25 - 10 de diciembre de 2023
- [con]Neurona #24 - 2 de diciembre de 2023
