Meta, la empresa matriz de Facebook, ha lanzado Code Llama, su gran modelo de lenguaje (LLM) especialmente enfocado a utilizar indicaciones de texto para generar y corregir código.
Su objetivo es agilizar y hacer más eficientes los flujos de trabajo de los desarrolladores, así como reducir la barrera de entrada a los que están aprendiendo a programar, ayudando a escribir software más sólido y bien documentado.
Code Llama es de código libre tanto para investigación como para uso comercial bajo la misma licencia comunitaria con la que lanzaron Llama 2 el mes pasado. De hecho, Code Llama es una variante especializada en código de Llama 2 gracias a haber pasado más tiempo entrenando conjuntos de datos específicos de programación.
Este nuevo LLM de Meta puede generar código y lenguaje natural sobre el código, tanto a partir del código como de peticiones en lenguaje natural (por ejemplo, «Escríbeme una función que produzca la secuencia de Fibonacci»). También puede utilizarse para completar y depurar código. Es compatible con muchos de los lenguajes de programación más utilizados en la actualidad, como Python, C++, Java, PHP, Typescript (Javascript), C#, Bash y muchos más.
Se han lanzado tres tamaños de Code Llama con 7B, 13B y 34B parámetros respectivamente. Cada uno de estos modelos se entrena con 500B de tokens de código y datos relacionados con este. Los modelos base y de instrucción de 7B y 13B también han sido entrenados con la capacidad de relleno en el medio (FIM), permitiéndole insertar código en el código existente, lo que significa que pueden ayudar en tareas como la finalización de código desde el primer momento.
Los tres modelos responden a distintos requisitos de servicio y latencia. El modelo 7B, por ejemplo, se puede servir en una sola GPU. El modelo de 34B ofrece los mejores resultados y permite una mejor asistencia a la codificación, pero los modelos más pequeños de 7B y 13B son más rápidos y adecuados para tareas que requieren baja latencia, como la finalización de código en tiempo real.
Code Llama también está disponible en dos variantes adicionales: Code Llama – Python y Code Llama – Instruct. Code Llama – Python es una variante especializada en el lenguaje y perfeccionada con 100.000 tokens de código Python, el lenguaje más utilizado para la generación de código.
Code Llama – Instruct, por su parte, es una variante ajustada y alineada con las instrucciones. El ajuste de instrucciones continúa el proceso de entrenamiento, pero con un objetivo diferente. El modelo recibe una instrucción en lenguaje natural y el resultado esperado. Esto le permite comprender mejor lo que la gente espera de sus instrucciones.
Más información en el blog oficial de IA de Meta.