Découvrez le Nouvel Étonnant Modèle de Langage de Programmation d’Apple qui Va Révolutionner le Développement!

Apple lance un nouveau modèle de langage de codage

Apple vient de dévoiler un modèle d’IA fascinant disponible sur Hugging Face, avec une approche innovante. Contrairement aux modèles de langue traditionnels qui génèrent du code de manière linéaire, ce nouveau modèle peut écrire de manière désordonnée et améliorer plusieurs segments simultanément.

Cette méthode permet une génération de code plus rapide, rivalisant avec les meilleurs modèles de codage open source. Voici comment cela fonctionne.

Détails techniques

Autoregression

La plupart des modèles de langage actuels sont autoregressifs. Cela signifie qu’ils analysent l’entièreté de la question posée, prédisent le premier token de la réponse, retravaillent la question avec ce token, prédisent le second token, et ainsi de suite. Ce fonctionnement génère un texte comme on le lit : de gauche à droite, de haut en bas.

Température

Les modèles de langue possèdent un paramètre nommé température qui contrôle le niveau de randomisation de la sortie. Une température basse favorise le choix des tokens les plus probables, alors qu’une température plus élevée permet une plus grande liberté dans le choix des options moins probables.

Diffusion

Les modèles de diffusion représentent une alternative aux modèles autoregressifs. Ils débutent avec une image floue et bruyante, puis éliminent progressivement le bruit tout en gardant à l’esprit la demande de l’utilisateur. Cela les conduit à un résultat de plus en plus proche de ce qui a été demandé.

Récemment, certains modèles de grande taille ont commencé à s’inspirer de l’architecture de diffusion pour la génération de texte, avec des résultats prometteurs. Pour une explication plus approfondie, je vous recommande de consulter un article détaillé sur le sujet.

Le modèle DiffuCoder d’Apple

Elaboré par Apple, le modèle DiffuCoder-7B-cpGRPO s’appuie sur un article intitulé DiffuCoder : Understanding and Improving Masked Diffusion Models for Code Generation, publié récemment. Ce modèle adopte une approche de diffusion pour la génération de code, avec une particularité :

“Lorsque la température d’échantillonnage est augmentée de 0.2 à 1.2, DiffuCoder devient plus flexible dans son ordre de génération de tokens, se libérant des contraintes strictes de gauche à droite.”

En ajustant la température, ce modèle peut également se comporter comme un modèle autoregressif. Des températures plus élevées lui permettent de générer des tokens de manière non séquentielle, tandis que des températures plus basses l’amènent à suivre un décodage rigide de gauche à droite.

De plus, grâce à une étape d’entraînement supplémentaire appelée coupled-GRPO, il a appris à générer un code de meilleure qualité en moins de passes. Le résultat : une génération de code rapide, cohérente à l’échelle globale et concurrentielle avec d’autres modèles de programmation open source de pointe.

Une base solide : Qwen2.5‐7B d’Alibaba

Encore plus intriguant, le modèle d’Apple est construit sur Qwen2.5‑7B, un modèle de base open source de Alibaba. Cette dernière société a d’abord effectué un raffinage de ce modèle pour une meilleure génération de code (Qwen2.5‑Coder‑7B) avant qu’Apple ne réalise ses propres ajustements.

Apple a transformé ce modèle en un nouveau modèle avec un décodeur basé sur la diffusion, selon le document DiffuCoder, puis a procédé à de nouvelles modifications pour suivre au mieux les instructions. Après cela, une version complémentaire a été entraînée en utilisant plus de 20 000 exemples de codage soigneusement sélectionnés.

Ce travail a porté ses fruits : DiffuCoder-7B-cpGRPO a obtenu un bonus de 4.4% sur un benchmark de codage populaire, tout en conservant sa dépendance réduite à une génération de code strictement linéaire.

Défis et potentiels d’amélioration

Bien que DiffuCoder se soit mieux comporté que de nombreux modèles de codage basés sur la diffusion, il n’atteint pas encore le niveau de modèles avancés tels que GPT-4 ou Gemini Diffusion. Certains critiques notent que les 7 milliards de paramètres pourraient être une limitation et que la génération basée sur la diffusion reste similaire à un processus séquentiel.

Cependant, il est important de retenir qu’Apple continue d’explorer des idées novatrices dans le domaine de l’IA générative. Ces développements posent les bases pour des applications futures, tant pour les utilisateurs que pour les développeurs.

### Quelle est la nouveauté concernant le modèle AI d’Apple ?

Apple a récemment lancé un modèle AI open-source appelé DiffuCode-7B-cpGRPO, qui se distingue par sa capacité à générer du code plus rapidement et de manière cohérente grâce à une approche basée sur la diffusion.

### Comment fonctionne le modèle DiffuCoder ?

Le modèle utilise une approche de diffusion pour la génération de code, permettant de raffiner le texte en parallèle, ce qui est particulièrement utile pour le code où la structure globale est plus importante que la prédiction linéaire des tokens.

### Quelles sont les améliorations apportées par DiffuCoder par rapport aux modèles traditionnels ?

DiffuCoder offre des performances compétitives avec des modèles de code de haut niveau, et il est capable de générer du code de manière flexible en ajustant la température de génération, permettant ainsi une sortie non contrainte par un ordre strict.

### Sur quelle base a été construit le modèle d’Apple ?

Le modèle d’Apple est basé sur Qwen2.5‑7B, un modèle open-source d’Alibaba, qui a été affiné pour la génération de code avant que quelques ajustements ne soient effectués par Apple pour améliorer ses performances.