Dans un monde où l’intelligence artificielle évolue rapidement, Apple se démarque avec des recherches novatrices pour améliorer l’accent anglais des systèmes IA. En intégrant des technologies avancées, Apple vise à optimiser la compréhension et l’expérience utilisateur, redéfinissant ainsi notre interaction avec des assistants vocaux intelligents.
Sommaire :
Performance des modèles linguistiques
Demandez à tout locuteur non natif d’anglais et il vous dira probablement que les modèles de langage de grande taille (LLM) tendent à mieux performer dans la langue de Shakespeare que dans la sienne. Parfois, la différence est subtile. D’autres fois, elle ne l’est pas du tout. Dans certains cas, cela peut même s’avérer dangereux. Un exemple frappant est donné par une étude réalisée par Carnegie Mellon en 2023, qui a révélé que les entrées non anglaises pouvaient plus facilement contourner des filtres de sécurité.
Une recherche collaborative d’Apple
Récemment, Apple a coécrit une étude proposant une nouvelle méthode pour réduire cet écart. Selon les chercheurs d’Apple, les modèles linguistiques actuels sont principalement conçus avec l’anglais comme langue principale. Même ceux qui sont multilingues montrent souvent des biais centrés sur l’anglais. Cela évoque les locuteurs qui, en apprenant une seconde langue, peuvent produire des expressions maladroites ; de la même manière, les LLM génèrent souvent des résultats peu naturels dans les langues non anglaises, reflétant des schémas anglais à la fois dans le vocabulaire et la grammaire.
Tests et résultats
Pour valider ces observations, les chercheurs d’Apple, avec leurs collègues d’Inria Paris, de l’École Polytechnique et de l’Université Sapienza de Rome, ont introduit deux nouvelles métriques :
- Naturalité Lexicale : Le modèle utilise-t-il un vocabulaire semblable à celui d’un locuteur natif ?
- Naturalité Syntaxique : Structure-t-il les phrases de manière à correspondre à la grammaire native ?
Les résultats ont confirmé le biais. Même le modèle développé en Chine, Qwen, a obtenu des résultats inférieurs dans toutes les langues, y compris le chinois. Le modèle Llama 3.1 de Meta a été globalement le plus naturel, mais demeurait loin du niveau de performance des humains.
La solution proposée par Apple
Pour réduire cet écart, Apple a entraîné un modèle à privilégier des résultats sonnant naturellement plutôt qu’inhabituel. Cette méthode astucieuse consiste à générer automatiquement des exemples peu naturels au lieu de les collecter manuellement. Une réponse fluide en chinois écrite par un humain serait traduite en anglais, puis de nouveau en chinois, introduisant des schémas subtils d’inhumanité connus sous le nom de « translationese ». Ces résultats manipulés servaient d’exemples négatifs, tandis que les originaux étaient utilisés comme réponses préférées.
En entraînant le modèle à privilégier les versions plus naturelles, Apple a réussi à améliorer considérablement tant le choix du vocabulaire que la grammaire, sans dégrader la performance générale dans les mesures standard.
Conséquences pour l’avenir
Cette recherche d’Apple souligne l’importance de développer des modèles qui prennent en charge une gamme plus large de langues dans un cadre réellement multilingue. L’utilisation de techniques telles que la rétro-traduction pour générer des exemples d’apprentissage est un pas crucial vers l’intégration d’une compréhension linguistique plus profonde dans les modèles de langage.
En fin de compte, la capacité des LLM à traiter des langues autres que l’anglais reste un défi majeur dans le domaine de l’intelligence artificielle. Le succès d’Apple et de ses partenaires dans ce projet pourrait inspirer d’autres chercheurs et entreprises à poursuivre des méthodes similaires.
Pour approfondir davantage cette problématique, vous pouvez consulter [l’article de Carnegie Mellon](https://arxiv.org/abs/2307.15043) sur ce sujet.
Quels biais les modèles de langage montrent-ils envers les langues non anglaises ?
Les modèles de langage actuels montrent des biais centrés sur l’anglais, générant des sorties qui suivent souvent des schémas grammaticaux et vocabulaire anglais, même lorsqu’ils produisent des textes en d’autres langues comme le chinois ou le français.
Quelles métriques Apple a-t-il introduites pour tester ces biais ?
Apple a introduit deux nouvelles métriques : la « naturalness lexicale », qui évalue si le modèle utilise un vocabulaire semblable à celui d’un locuteur natif, et la « naturalness syntaxique », qui analyse si les phrases sont structurées conformément à la grammaire native.
Comment Apple propose-t-il de résoudre ce problème ?
Apple a formé un modèle pour privilégier les sorties naturelles en générant automatiquement des exemples naturels et non naturels à l’aide de la rétro-traduction, afin d’améliorer le choix du vocabulaire et la grammaire sans dégrader la performance globale.
Quels ont été les résultats des comparaisons entre les modèles et les articles écrits par des natifs ?
Les résultats ont confirmé les biais, montrant que même des modèles bien développés sous-performaient par rapport aux sorties humaines, avec des modèles comme Llama 3.1 étant les plus naturels, mais restant loin des niveaux humains.
Bonjour, je m’appelle Manu Dibango et j’ai 37 ans. Cadre supérieur dans l’administration, je suis passionné par la gestion et l’organisation. Bienvenue sur Camernews où je partage ma veille sur les nouvelles technologies et l’innovation.
