Dans un monde où la communication est essentielle, le dernier modèle d’IA d’Apple révolutionne notre interaction avec la technologie. En analysant les subtilités du discours humain, cet algorithme innovant identifie ce qui rend la parole « décalée » et optimise la lisibilité, redéfinissant ainsi notre rapport à l’intelligence artificielle.
Une approche centrée sur l’humain
Apple a récemment publié une étude fascinante sur les modèles de voix et de discours, mettant en avant une approche humaniste pour résoudre un problème complexe en apprentissage automatique. Au lieu de simplement reconnaître ce qui a été dit, l’objectif se concentre sur comment cela a été dit. Les implications en matière d’accessibilité sont considérables.
Les chercheurs ont introduit un cadre d’analyse de la parole basé sur les Dimensions de Qualité de Voix (VQDs). Ces dimensions sont des traits interprétables tels que l’intelligibilité, la dureté, la souffle, la monotonie du ton, entre autres.
La formation de l’IA pour écouter
La majorité des modèles de discours actuels sont formés principalement sur des voix saines et typiques. Par conséquent, ils échouent souvent ou donnent des résultats insatisfaisants lorsque l’utilisateur a une voix différente. Ce constat révèle une lacune majeure en matière d’accessibilité.
Pour remédier à cela, les chercheurs d’Apple ont formé des sondes légères, des modèles de diagnostic simples, au-dessus des systèmes de discours existants, en utilisant un vaste ensemble de données publics annotés portant sur des discours atypiques. Ces échantillons incluent des voix de personnes atteintes de la maladie de Parkinson, de la SLA et de paralysie cérébrale.
Mesures auditives spécifiques
Au lieu d’utiliser ces modèles pour transcrire le contenu audio, les chercheurs ont mesuré la qualité de la voix selon sept dimensions fondamentales :
- Intelligibilité : facilité à comprendre le discours.
- Consonnes imprécises : clarté des sons consonantiques (ex. : consonnes floues).
- Voix dure : qualité vocale rugueuse ou strainée.
- Naturel : fluidité du discours perçue par l’auditeur.
- Monoloudness : absence de variation dans le volume de la voix.
- Monopitch : manque de variation de hauteur, rendant le discours monotone.
- Souffle : qualité vocale aérienne, souvent due à une fermeture incomplète des cordes vocales.
En d’autres termes, il s’agit d’apprendre aux machines à “écouter comme un clinicien”, plutôt que de simplement enregistrer le contenu dit.
Techniques avancées pour des performances optimisées
Pour accomplir cela, Apple a utilisé cinq modèles (CLAP, HuBERT, HuBERT ASR, Raw-Net3, SpICE) pour extraire les caractéristiques audio, puis les sondes légères ont été formées pour prédire les dimensions de qualité vocale à partir de ces caractéristiques.
Les résultats ont montré que ces sondes ont bien performé sur la plupart des dimensions, bien que les performances varient légèrement selon le trait et la tâche.
Un aspect remarquable de cette recherche réside dans la capacité d’explication des sorties du modèle. Au lieu de fournir un score de confiance mystérieux, ce système pointe vers des traits vocaux spécifiques ayant amené à une classification donnée. Ceci pourrait avoir des répercussions significatives dans l’évaluation et le diagnostic cliniques.
Au-delà de l’accessibilité
Apple ne s’est pas arrêté aux seuls discours cliniques. L’équipe a également testé ses modèles sur des discours émotionnels à partir d’un ensemble de données appelé RAVDESS. Malgré une absence d’entraînement sur des données émotionnelles, les modèles VQD ont proposé des prédictions intuitives.
Par exemple, les voix en colère avaient une « monoloudness » plus basse, les voix calmes étaient jugées moins dures et les voix tristes étaient perçues comme plus monotones.
Ces résultats pourraient ouvrir la voie à un Siri plus réactif, capable de moduler son ton et son discours en fonction de l’interprétation de l’état émotionnel de l’utilisateur, et non pas seulement en se basant sur les mots prononcés.
L’étude complète est disponible sur arXiv.
Qu’est-ce que les Dimensions de Qualité de la Voix (VQD) ?
Les Dimensions de Qualité de la Voix (VQD) sont des traits interprétables tels que l’intelligibilité, la dureté, la respiration, la monotonie de la hauteur, etc. Ils sont utilisés pour analyser la parole.
Comment Apple entraîne-t-il ses modèles de reconnaissance vocale ?
Apple entraîne ses modèles en utilisant des ensembles de données publics de discours atypique, notamment des voix de personnes atteintes de la maladie de Parkinson, de la SLA et de la paralysie cérébrale, en se concentrant sur des dimensions vocales plutôt que sur la transcription.
Quels bénéfices cette technologie apporte-t-elle en matière d’accessibilité ?
Cette technologie vise à combler l’écart d’accessibilité en permettant aux machines de « écouter comme un clinicien », ce qui peut améliorer l’évaluation clinique et le diagnostic des troubles de la parole.
Comment les modèles d’Apple prédisent-ils les émotions à partir de la parole ?
Les modèles d’Apple, bien qu’ils n’aient pas été spécifiquement formés sur des données audio émotionnelles, produisent des prédictions intuitives sur les émotions, comme une voix en colère étant moins monotone et une voix calme étant perçue comme moins dure.
Bonjour, je m’appelle Manu Dibango et j’ai 37 ans. Cadre supérieur dans l’administration, je suis passionné par la gestion et l’organisation. Bienvenue sur Camernews où je partage ma veille sur les nouvelles technologies et l’innovation.
