Qu'est-ce qu'un modèle MoE, en une phrase ?

Un modèle découpé en sous-réseaux spécialisés dont une petite partie seulement s'active à chaque mot produit, ce qui divise le calcul nécessaire sans réduire la capacité totale du modèle. Qwen3.6-35B-A3B compte 35 milliards de paramètres mais n'en active que 3 milliards à la fois.

La quantification dégrade-t-elle les réponses ?

Elle réduit la précision de chaque paramètre, typiquement de 16 à 4 bits, et divise donc la taille du modèle en mémoire par environ quatre. La perte de qualité mesurée sur les formats récents comme NVFP4 est généralement faible, mais elle n'est pas nulle et dépend du modèle. Ce n'est de toute façon pas suffisant seul : un modèle de 35 milliards de paramètres quantifié en 4 bits pèse encore 17,5 Go, soit plus du double d'une carte à 8 Go.

De quel matériel ai-je besoin pour essayer ?

Une carte NVIDIA RTX des séries 30, 40 ou 50, 32 Go de RAM système pour un modèle de classe 35B, un pilote récent et Linux pour la ligne de commande, ou l'application de bureau sous Windows. Aucune prise en charge d'AMD ni d'Apple Silicon à ce jour.

IA locale : ce que change FreeToken (inférence, MoE, VRAM)

Il y a une semaine, j'écrivais ici que déployer une IA en local était possible pour presque toutes les entreprises et nécessaire pour presque aucune. Je maintiens la conclusion. Mais un outil publié fin août oblige à en corriger une partie, et je préfère le faire moi-même plutôt que d'attendre qu'on me le fasse remarquer.

Cet outil s'appelle FreeToken. Il fait tourner un modèle de 35 milliards de paramètres sur un PC portable équipé de 8 Go de mémoire graphique, à 39,3 tokens par seconde. C'est plus vite que vous ne lisez.

Avant d'expliquer pourquoi ça compte, il faut poser quatre mots. Ce sont ceux qui reviennent dans toutes les discussions sur l'IA locale, et ceux que personne n'explique jamais.

Inférence, VRAM, quantification, MoE

L'inférence, c'est le moment où un modèle déjà construit produit une réponse. À ne pas confondre avec l'entraînement, qui a eu lieu une fois, dans un centre de données, et qui a coûté des dizaines de millions. L'inférence, elle, se rejoue à chaque question posée. Quand vous écrivez à ChatGPT ou à Claude, vous déclenchez une inférence. C'est la seule des deux opérations qu'on peut sérieusement envisager de rapatrier chez soi.

La VRAM, c'est la mémoire embarquée sur la carte graphique, distincte de la RAM de l'ordinateur. Une RTX 4060 de portable en a 8 Go. Un processeur graphique lit sa propre mémoire beaucoup plus vite que celle de la machine, donc un modèle qui n'y tient pas répond lentement. C'est le mur contre lequel butent tous les projets d'IA locale.

La quantification consiste à réduire la précision numérique de chaque paramètre. En 16 bits, un paramètre pèse deux octets : 35 milliards de paramètres occupent donc environ 70 Go. Passé en 4 bits, dans un format comme NVFP4, le même modèle tombe autour de 17,5 Go. On divise la taille par quatre pour une perte de qualité généralement faible, un peu comme un JPEG de bonne facture face au fichier brut d'un appareil photo.

Sauf que 17,5 Go ne tiennent toujours pas dans 8 Go de VRAM. La quantification seule ne suffit pas. D'où le quatrième mot.

Le MoE, ou Mixture-of-Experts, désigne une façon de découper le modèle. Un modèle dit dense fait passer chaque mot généré par la totalité de son réseau. Un modèle MoE, lui, découpe ce réseau en sous-réseaux spécialisés appelés experts, et n'en active qu'une poignée par token produit. Le nom complet du modèle cité plus haut, Qwen3.6-35B-A3B, le dit littéralement : 3 milliards de paramètres actifs sur 35 au total. Le calcul ne porte que sur un dixième de la machinerie.

Le piège, et c'était exactement mon argument la semaine dernière à propos de Kimi K3, c'est qu'il fallait malgré tout garder l'intégralité des experts en mémoire graphique. On ne sait pas à l'avance vers quel expert le token suivant va être routé, donc il fallait tous les tenir prêts.

Ce que FreeToken ajoute par-dessus

C'est précisément ce postulat que FreeToken attaque. Le dépôt décrit trois mécanismes principaux.

Un cache LRU global des experts, d'abord : les experts les plus récemment sollicités restent résidents sur le GPU, les autres vivent dans la RAM de la machine et transitent par le bus PCIe quand ils sont réclamés. Un chargement en double tampon ensuite, qui prépare la couche suivante pendant que la courante calcule. Et enfin une politique d'ordonnancement adaptative à la bande passante, que les auteurs notent q*.

Cette dernière est la vraie idée. À chaque étape, quand des experts manquent sur le GPU, il faut choisir : les rapatrier par le bus PCIe, ou les faire calculer directement par le processeur central. FreeToken ne tranche pas une fois pour toutes, il répartit selon le rapport entre la bande passante PCIe et celle de la mémoire système, mesuré sur la machine elle-même par une commande de calibration. La même configuration s'adapte donc à un portable comme à une station de travail.

Le projet vient d'une équipe académique menée par des chercheurs d'UC Berkeley et d'UT Austin, il est publié sous licence Apache 2.0 et documenté dans un article de recherche. Point de vigilance au passage : ma brève sur le sujet ne créditait qu'UC Berkeley, c'est incomplet. Les modèles cités ici sont par ailleurs tous en open weight, ce qui est la condition sans laquelle rien de tout ça n'existerait.

Le matériel réel, sans enjoliver

Les configurations mesurées dans l'article de recherche sont les suivantes.

Un portable équipé d'une RTX 4060 (8 Go de VRAM) et de 32 Go de RAM système fait tourner Qwen3.6-35B à 39,3 tokens par seconde. Un ordinateur de bureau avec une RTX 5090 (32 Go) et 192 Go de RAM fait tourner DeepSeek-V4-Flash, 284 milliards de paramètres, autour de 22 tokens par seconde. Une station de travail avec une RTX PRO 6000 (96 Go) et 512 Go de RAM fait tourner GLM-5.2 et ses 753 milliards de paramètres à 14,9 tokens par seconde, contre 7,3 pour llama.cpp sur la même machine.

Le chiffre que la plupart des reprises oublient de citer, c'est la RAM système. Les experts inactifs ne s'évaporent pas, ils vivent dans la mémoire de l'ordinateur. Le premier cas est un portable ordinaire. Le deuxième demande 192 Go de RAM, ce qui n'est plus tout à fait une machine de joueur standard. Le troisième est une station professionnelle.

Côté logiciel, il y a de la friction à connaître avant de se lancer. La ligne de commande demande du Linux x86_64, une carte NVIDIA des séries RTX 30, 40 ou 50, un pilote r580 ou supérieur avec CUDA 13, et Python 3.10 minimum. Une application de bureau existe pour Windows et Linux si on préfère éviter le terminal. Rien pour AMD, rien pour les Mac Apple Silicon.

En contrepartie, le serveur expose les API OpenAI et Anthropic, et une commande unique configure un agent de codage pour taper dessus. Sur ce type d'usage, la latence avant le premier token reste sous 44 secondes dans le pire cas mesuré, là où chaque moteur concurrent dépasse 150 secondes au moins une fois.

Ce que ça contredit dans mon article précédent

Autant être net sur ce qui bouge et ce qui ne bouge pas.

Ce qui tient : Kimi K3 demande toujours environ 1,8 To de VRAM, et l'arithmétique du seuil de rentabilité face à une API reste inchangée. FreeToken ne fait pas tourner un modèle de frontière sur un portable, et il ne rend pas un cluster loué plus rentable qu'un appel d'API pour une PME.

Ce qui ne tient plus : j'écrivais qu'entre un petit modèle sur une carte professionnelle et un cluster à un million de dollars, il n'y avait rien, et je présentais le palier à deux DGX Spark, environ 9 400 $, comme le barreau manquant. FreeToken en ajoute un en dessous de tous les autres, sur du matériel que les gens ont déjà acheté pour autre chose.

Le palier à 9 400 $ se comprime, lui aussi, mais il ne disparaît pas. DeepSeek V4 Flash, exactement le modèle que je citais sur deux DGX Spark, tourne désormais sur une seule carte grand public. Sauf que la machine de référence embarque 192 Go de RAM, et que le débit annoncé est mesuré en flux unique, là où les deux DGX Spark tenaient quatre à six requêtes simultanées avec un contexte d'un million de tokens. C'est moins cher pour une personne, pas pour une équipe.

Ce n'est donc pas un revirement, mais ce n'est pas non plus un détail. Ce que je mesurais était juste, ce que j'en déduisais sur les paliers matériels a vieilli en une semaine. Je trouve cette péremption plus instructive que n'importe quel graphique sur la vitesse du domaine.

Pour qui c'est utile maintenant

Pour un développeur seul ou une petite équipe, l'IA locale vient de passer du statut de projet à budgéter à celui de logiciel à installer. Un agent de codage qui tourne sur la machine, sur du code qui ne sort pas de l'entreprise, sans facture au token et sans quota : c'est réaliste ce trimestre, avec un portable de jeu correct.

Pour une entreprise qui voudrait remplacer une API en production, non. Le débit en flux unique est le plafond. Mon calcul de seuil de l'article précédent reste la bonne grille de lecture, et il continue de désigner l'API dans l'immense majorité des cas.

Sources : dépôt GitHub FreeToken ; FreeToken: Efficient Edge-Native MoE Serving with Bandwidth-Adaptive Execution, arXiv 2608.16157 ; documentation d'installation du projet.

Pour aller plus loin : Déployer une IA en local : possible pour presque toutes les entreprises, nécessaire pour presque aucune et Frontière, open source, open weight, fermé : ce que ces mots veulent vraiment dire en IA