Les grands modèles de langages (LLM) sont incroyablement gourmands en mémoires et cela constitue un défi majeur à surmonter pour les entreprises. Mais une étude publiée récemment par les chercheurs d'Apple évoque des pistes de solution pour une inférence efficace des modèles d'IA sur les appareils à mémoire limitée, dont les smartphones. Elle suggère qu'Apple a l'intention d'offrir la possibilité aux utilisateurs d'exécuter les modèles d'IA directement sur leurs appareils iOS plutôt que sur le cloud. Apple est en retard par rapport à ses rivaux dans le domaine de l'IA générative, mais les analystes considèrent cette trouvaille comme une percée qui pourrait l'aider à réduire l'écart.Les chatbots basés sur de grands modèles de langage, comme ChatGPT et Claude, nécessitent généralement de grandes quantités de mémoire pour fonctionner, ce qui représente un défi pour les appareils avec une capacité de mémoire limitée. Les chercheurs en tentent depuis quelques années de relever le défi, mais peu de progrès ont été réalisés, du moins jusque-là. Pour résoudre ce problème, les chercheurs d'Apple ont mis au point une nouvelle technique qui utilise la mémoire flash - la même mémoire que celle où se trouvent vos applications et vos photos - pour stocker les données du modèle d'IA. Ils ont publié un rapport d'étude au début du mois.
L'article a été publié le 12 décembre, mais il a attiré l'attention après avoir été mis en évidence mercredi en fin de journée sur Hugging Face, une plateforme populaire sur laquelle les chercheurs en IA présentent leurs travaux pour des discussions. Il s'agit du deuxième article d'Apple sur l'IA générative ce mois-ci, et il fait suite à des initiatives antérieures visant à permettre à des modèles de génération d'images tels que Stable Diffusion de fonctionner sur ses processeurs personnalisés. Apple, tout comme les autres fabricants d'équipements et de processeurs, espère que les nouvelles fonctions d'IA contribueront à relancer le marché des smartphones.
L'article de recherche est intitulé "LLM in a flash : Efficient Large Language Model Inference with Limited Memory". Dedans, les auteurs notent que la mémoire flash est plus abondante dans les appareils mobiles que la mémoire vive traditionnellement utilisée pour l'exécution des modèles. Ainsi, leur méthode contourne astucieusement cette limitation en utilisant deux techniques clés qui minimisent le transfert de données et maximisent le débit de la mémoire flash :
- le fenêtrage : il s'agit d'une méthode de recyclage. Au lieu de charger de nouvelles données chaque fois, le modèle d'IA réutilise une partie des données qu'il a déjà traitées. Cela réduit la nécessité d'aller constamment chercher des données en mémoire, ce qui rend le processus plus rapide et plus fluide ;
- regroupement lignes-colonnes : cette technique revient à lire un livre par morceaux plutôt qu'un mot à la fois. En regroupant les données plus efficacement, elles peuvent être lues plus rapidement à partir de la mémoire flash, ce qui accélère la capacité de l'IA à comprendre et à générer du langage.
Selon l'article, la combinaison de ces méthodes permet aux modèles d'IA de fonctionner jusqu'à deux fois la taille de la mémoire disponible de l'iPhone. Cela se traduit par une augmentation de la vitesse de 4 à 5 fois sur les processeurs standard (CPU) et de 20 à 25 fois sur les processeurs graphiques (GPU). Les auteurs ont écrit : « cette avancée est particulièrement cruciale pour le déploiement de modèles avancés dans des environnements à ressources limitées, ce qui élargit leur applicabilité et leur accessibilité ». Les analystes affirment qu'il s'agit d'une avancée majeure qui ouvre la voie à de nouvelles possibilités pour les futurs appareils d'Apple.
Les travaux d'Apple sur l'IA générative pourraient éventuellement être intégrés à son assistant vocal Siri. Les possibilités comprennent de nouvelles fonctionnalités plus avancées sur Siri, la traduction en temps réel et des fonctions sophistiquées basées sur l'IA dans les domaines de la photographie, de la réalité virtuelle et de la réalité augmentée. Cela ouvre également la voie à l'utilisation d'assistants d'IA complexes et de chatbots sur les iPhone, ce que la firme de Cupertino serait déjà en train de faire. Selon certaines sources, Apple a organisé en février un sommet sur l'IA et a informé les employés de ses travaux sur les grands modèles de langage.
Selon les analystes, Apple vise une version plus intelligente de Siri, profondément intégrée à l'IA. Apple prévoit d'actualiser la façon dont Siri interagit avec l'application iMessage, afin de permettre aux utilisateurs de répondre à des questions complexes et de compléter automatiquement des phrases de manière plus efficace. En outre, Apple aurait l'intention d'ajouter l'IA à autant d'applications que possible sur ses plateformes. Apple a été largement écartée de la vague d'enthousiasme pour l'IA générative qui a déferlé sur la Silicon Valley au cours des derniers mois, notamment après le lancement par OpenAI de son chatbot révolutionnaire ChatGPT.
Plusieurs analystes estiment qu'Apple est à la traîne par rapport à ses rivaux, bien qu'il ait embauché le plus haut responsable de l'IA de Google, John Giannandrea, en 2018. Alors que Microsoft et Google se sont largement concentrés sur la fourniture de chatbots et d'autres services d'IA générative sur Internet à partir de leurs vastes plateformes de cloud, les recherches d'Apple suggèrent qu'elle se concentrera plutôt sur une IA qui peut fonctionner directement sur un iPhone. Une initiative qui peut faire une grande différence. Certains rivaux d'Apple, tels que Samsung, se prépareraient à lancer un nouveau type de smartphone à IA l'année prochaine.
Counterpoint Research s'attend à ce que plus de 100 millions de smartphones axés sur l'IA soient livrés en 2024, et que 40 % des nouveaux appareils offrent de telles capacités d'ici à 2027. De son côté, Cristiano Amon, PDG de Qualcomm, le plus grand fabricant de puces mobiles au monde, note que l'introduction de l'IA dans les smartphones créerait de nouvelles expériences pour les consommateurs et inverserait la tendance baissière des ventes de téléphones portables. « Vous verrez des appareils lancés au début de 2024 avec un certain nombre de cas d'utilisation de l'IA générative », a déclaré Amon lors d'une récente interview.
Il a ajouté : « au fur et à mesure que ces choses se développent, elles apportent un changement significatif dans l'expérience de l'utilisateur et permettent une innovation qui a le potentiel de créer un nouveau cycle de mise à niveau dans les smartphones ». Les chercheurs d'Apple ont testé leur approche sur des modèles tels que Falcon 7B, une version plus petite d'un modèle open source développé à l'origine par l'Institut d'innovation technologique d'Abou Dhabi. Bien sûr, les divers articles de recherche publiés par Apple ne sont pas un indicateur direct de la manière dont l'entreprise entend ajouter de nouvelles fonctionnalités à ses produits.
Mais ils offrent un rare aperçu de ses laboratoires de recherche secrets et de ses dernières percées techniques. « Notre travail apporte non seulement une solution à un goulot d'étranglement informatique actuel, mais crée également un précédent pour les recherches futures. Nous pensons qu'à mesure que la taille et la complexité des modèles augmentent, des approches comme celle-ci seront essentielles pour exploiter tout leur potentiel dans une large gamme d'appareils et d'applications », indique le rapport de l'étude. Par ailleurs, des rapports signalent qu'Apple serait en train de développer son propre modèle d'IA générative appelé "Ajax".
Conçu pour rivaliser avec les modèles GPT-3 et GPT-4 d'OpenAI, Ajax aurait 200 milliards de paramètres, ce qui suggère un niveau élevé de complexité et de capacité en matière de compréhension et de génération de langage. Appelé "Apple GPT" en interne, Ajax viserait à unifier le développement de l'apprentissage automatique au sein d'Apple, ce qui suggère une stratégie plus large visant à intégrer plus profondément l'IA dans l'écosystème d'Apple. Ajax serait plus performant que la génération précédente GPT 3.5. Cependant, les modèles plus récents d'OpenAI pourraient avoir progressé au-delà des capacités d'Ajax à partir de septembre 2023.
L'analyste Jeff Pu affirme qu'Apple proposera une sorte de fonction d'IA générative sur l'iPhone et l'iPad vers la fin de l'année 2024, date à laquelle iOS 18 sortira. Il a déclaré en octobre qu'Apple a construit quelques centaines de serveurs d'IA en 2023, et en construira probablement plus en 2024. Apple proposerait une combinaison d'IA basée sur le cloud et d'IA avec traitement sur l'appareil. Enfin, la firme de Cupertino a lancé discrètement au début du mois une série de nouveaux outils d'apprentissage automatique.
Source : rapport d'étude (PDF)
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous de l'inférence des modèles d'IA directement sur l'iPhone plutôt que sur le cloud ? Quels impacts les recherches d'Apple pourraient-elles avoir sur l'entreprise et sur le domaine de l'IA en général ? Selon vous, quels sont les cas d'utilisation possibles avec l'inférence des modèles d'IA directement sur les smartphones ?Voir aussi
Apple testerait en interne un modèle de langage appelé "Apple GPT" et développerait des outils d'IA générative pour concurrencer OpenAI, ces outils pourraient servir à renforcer Siri à l'avenir Apple dépenserait "des millions de dollars par jour" pour l'IA, Apple a pris le train de l'IA comme tout le monde, selon le rapport de The Information Surpris par le boom de l'IA générative, Apple envisagerait de dépenser 1 milliard de dollars par an pour rattraper son retard, selon un rapport