Microsoft presenta Phi-3 mini, un modelo de IA pequeño y ligero que se ejecuta de forma nativa en el smartphone

Es un modelo de lenguaje más pequeño y más ligero que puede ejecutarse de forma nativa en un smartphone. Y además ofrece un rendimiento similar al GPT-3.5 de OpenAI. Así es Phi-3 mini, el nuevo modelo de inteligencia artificial presentado por Microsoft.

Esta evolución de Phi-2, que fue entrenado con 1,4 billones de tokens, es el resultado de un entrenamiento mucho más ambicioso: 3,3 billones de tokens procedentes de conjuntos de datos “más grandes y más avanzados” que los utilizados en Phi-2.

Phi-3 mini se presenta con un tamaño de 3.800 millones parámetros, suficiente para su uso en un smartphone moderno, ya que ocupa en torno a 1,8 GB de memoria y se puede cuantificar a 4 bits, como recogen en el texto publicado en Arxiv.org.

Los investigadores han utilizado para las pruebas un iPhone 14 con un chip A16 Bionic en el que, aseguran, “se ejecuta de forma nativa y de forma completa offline, logrando más de 12 tokens por segundo”. El rendimiento general de este modelo “rivaliza” con el de otros de mayor tamaño, como Mixtral 8x7B y GPT-3.5.

La compañía tecnológica ha empleado una arquitectura de decodificador de transformador, que admite una longitud de texto de 4K y, al basarse en una estructura en bloque similar a la de Llama 2 de Meta, no solo “beneficia” a la comunidad de código abierto, sino que también admite todos los paquetes desarrollados para Llama 2.

El modelo admite un formato conversacional, de chat, y está alineado con los valores de robustez y seguridad de Microsoft, destacan en el texto de la investigación.

Junto a Phi-3 mini, Microoft también ha entrenado dos modelos adicionales de la misma familia: Phi-3 medium, de 14.000 millones de parámetros, y Phi-3 small, con 7.000 millones de parámetros, ambos entrenados con 4.800 millones de tokens.