Le guide d'achat ultime des fournisseurs de LLM

Quel est le moyen le plus économique d’exécuter un Large Language Model (LLM) ?

Quand vous exploitez des LLM, vous devez prendre une décision clé : où les exécuter ? Les options se sont multipliées, chacune avec ses compromis. Devriez‑vous :

1. Acheter du matériel dédié pour exécuter un LLM open source en local ?
2. Utiliser un service cloud comme OpenAI ou Google Gemini, ou payer pour l’inférence sur une plateforme qui héberge des LLM open source comme Groq ou DeepInfra ?
3. Louer de la puissance GPU brute chez un fournisseur cloud comme Modal pour héberger vous‑même un modèle open source ?

J’ai exploré ces trois pistes, voici mes conclusions.

Exécuter des LLM open source directement sur votre machine — ou pourquoi l’action Apple pourrait exploser

Si vous voulez exécuter un LLM en local, il faut d’abord choisir un modèle open source pertinent.

Vous voulez le modèle open source le plus « intelligent » possible avec les exigences matérielles les plus faibles.

Pour cela, consultez des classements comme :

• Artificial Analysis
• Vellum

Je préfère Artificial Analysis parce qu’il calcule un « indice d’intelligence », un composite de plusieurs benchmarks réputés pour chaque modèle.

À l’heure actuelle, le nouveau gpt-oss-120B semble être le moins cher à exécuter chez les fournisseurs cloud tout en conservant un bon score (61), le plaçant deuxième en intelligence. S’il est moins cher dans le cloud, il est probablement moins exigeant en calcul — et ce sera pareil sur votre matériel.

Or, gpt-oss-120B demande du matériel haut de gamme comme une NVIDIA A100 ou H100 avec 80 Go de VRAM (mémoire dédiée au GPU).

La partie intéressante, c’est que l’architecture d’Apple mélange VRAM et RAM, atténuant la dépendance au seul GPU.

La bastille économique secrète d’Apple : l’architecture mémoire unifiée (UMA)

Sur les PC traditionnels, le CPU a sa mémoire (RAM) et le GPU a la sienne (VRAM), plus rapide. Lorsqu’on exécute un LLM, il faut sans cesse copier des données entre ces deux mémoires séparées, créant un goulot d’étranglement qui ralentit tout.

Les puces Apple M, comme la M4 Max, adoptent une autre approche.

Mémoire partagée : avec l’UMA, le CPU, le GPU et le Neural Engine (NPU) partagent un seul grand pool de mémoire haute vitesse. Votre RAM locale est ce pool unifié.

Plus de copies massives : puisque tous les composants utilisent la même mémoire, pas besoin de dupliquer ou transférer d’énormes volumes de données. Le GPU peut accéder directement aux données de modèle utilisées par le CPU avec un délai minimal. Cela améliore drastiquement l’efficacité et la vitesse.

C’est pourquoi certains obtiennent des résultats décents (40 tokens/s) en exécutant gpt-oss-120B sur un M4 Max : https://www.reddit.com/r/LocalLLM/comments/1mix4yp/getting_40_tokenssec_with_latest_openai_120b/

À titre de comparaison, ChatGPT en ligne délivre environ 100 tokens/s. Cela dit, un MacBook Pro M4 Max avec 128 Go de RAM se vend actuellement 6 399 $ — pas donné — mais pour une entreprise qui exécute des LLM en local en ne payant que l’électricité, ça peut se défendre. Apple est peut‑être en retard dans la révolution LLM, mais possède le matériel pour la rendre scalable et abordable. En attendant que Wall Street s’en rende compte (ceci n’est pas un conseil financier).

J’ai testé GPT‑OSS‑20B sur mon MacBook Air M2 (24 Go)

Évidemment, mon MacBook Air ne pouvait pas faire tourner le plus grand modèle GPT‑OSS, mais j’ai exécuté la version 20B et obtenu ~20 tokens/s, ce qui est correct.

Si vous voulez essayer, voici la voie la plus simple :

• Téléchargez LM Studio depuis ici
• Ouvrez l’app et cliquez pour télécharger le modèle GPT‑OSS‑20B
• Cliquez sur le bouton « Start chat »
• Vous verrez l’interface de chat
• Posez une question. J’ai demandé « How to clean jewelry the right way? » et voici le débit de génération de tokens :
• Vous pouvez voir les statistiques de tokens par seconde en bas :

⚠️ Avertissement rapide

Petit rappel : LM Studio ou open‑webui sont intéressants pour jouer avec un modèle, mais ne remplacent pas une interface de chat comme ChatGPT, Claude ou Gemini. LM Studio et open‑webui n’offrent pas, prêts à l’emploi, les mêmes capacités agentiques (recherche Web, scraping, parsing de documents, etc.) que ces plateformes propriétaires, qui optimisent le comportement des modèles. Vous pouvez tenter de configurer ces capacités dans open‑webui, mais il est peu probable d’atteindre le même niveau de qualité et de performance que les plateformes en ligne.

Exécuter des LLM open source chez des fournisseurs d’inférence

Artificial Analysis peut vous aider à trouver les meilleurs fournisseurs d’inférence. L’idée consiste à trier les modèles par indice d’intelligence et à calculer le prix par point d’indice pour trouver le meilleur rapport qualité‑prix, puis à vérifier quels fournisseurs proposent ces modèles. J’ai fait le calcul et l’ai résumé dans le tableau ci‑dessous :

Source : Artificial Analysis

On voit tout de suite de bonnes options :

• GPT‑5‑mini : 0,01 $ par million de tokens (OpenAI)
• gpt‑oss‑120B : 0,005 $ par million de tokens (open source ; multiples fournisseurs)

Si vous choisissez un modèle propriétaire comme GPT‑5‑mini, rendez‑vous sur le site du fournisseur (platform.openai.com) pour acheter des crédits.

Pour gpt‑oss‑120B, vous pouvez utiliser OpenRouter pour voir quels fournisseurs l’offrent et leurs prix :

Source : openrouter.ai

Si vous ne voulez pas changer de fournisseur quand les prix bougent, vous pouvez utiliser OpenRouter directement pour gérer cela à votre place. La plupart des modèles suivent le format JSON d’OpenAI, donc vous pouvez utiliser le SDK OpenAI et son Agents SDK chez différents fournisseurs — même pour des modèles non‑OpenAI.

OpenRouter prend une marge de 5,5 % sur les crédits achetés pour financer ce service d’agrégation.

D’autres plateformes comme

• Martian
• Portkey.ai

existent aussi et offrent des fonctionnalités supplémentaires.

Exécuter des modèles open source sur une infrastructure GPU louée

Eh bien, c’est l’option la plus décevante. Je l’ai testée avec Modal. J’ai déployé le plus petit modèle gpt‑oss‑20B sur un GPU H200 et, quelques minutes plus tard, j’avais brûlé mes 5 $ de crédits de départ. À titre de comparaison, j’ai mené plusieurs expériences lourdes toute une journée avec GPT‑5‑mini sur la plateforme OpenAI et cela ne m’a coûté que 9 centimes.

Avec Modal, à l’inverse, j’ai fait 12 petites invites pour 5,40 $ 🤑 :

C’est parce que Modal réserve votre infrastructure jusqu’à ce que vous l’arrêtiez explicitement. Mais si vous l’arrêtez juste après une invite, il faudra attendre de nouveau l’approvisionnement de l’infrastructure avant la prochaine invite. C’est rapide chez Modal — grâce à de gros efforts R&D pour atténuer les surcoûts de démarrage Docker/Kubernetes — mais à mon avis ça reste trop lent pour la production.

Conclusion

Si vous optimisez uniquement le coût aujourd’hui, OpenAI gagne. Pour les modèles propriétaires, GPT‑5‑mini est actuellement le moins cher, autour de 0,01 $ par million de tokens. Pour les modèles open source, les prix les plus bas (par ex. gpt‑oss‑120B autour de 0,005 $ par million de tokens) sont facilement accessibles via l’écosystème compatible OpenAI grâce à des passerelles comme OpenRouter, ce qui vous permet d’utiliser le standard SDK d’OpenAI tout en routant vers les fournisseurs les moins chers.

Les entreprises qui développent des workflows agentiques peuvent réduire leurs coûts en utilisant GPT‑OSS‑120B sur un Mac mini bien équipé, qui peut aussi servir de serveur d’inférence de développement sur le réseau local.

Remarque : les prix et la disponibilité évoluent rapidement — revérifiez toujours avant d’arrêter une pile.