Méthode et sources

Les deux sources des graphiques

Un chiffre mesuré dit ce qu'un ordinateur a consommé pour un test précis. Un chiffre estimé dit ce qu'une formule attribue à une conversation réelle. Un chiffre déclaré dit ce que quelqu'un affirme. Aucun ne dit la consommation d'un centre de données qui répond à de vraies questions.

Le notebook utilise aussi deux jeux pour une carte d'ouverture (OpenStreetMap, centres de données déclarés, licence ODbL ; consommation annuelle par zone IRIS, data.gouv.fr, Licence Ouverte 2.0). Cette carte ne figure pas sur le site : ces données n'y sont donc ni publiées ni téléchargeables.

Traitements appliqués

1. AI Energy Score : 206 mesures lues, 0 valeur illisible. Le niveau de raisonnement des deux modèles gpt-oss est séparé du nom du modèle.
2. Deux campagnes de mesure (février et décembre 2025) ne sont jamais mélangées : 40 mesures de février en génération de texte sont mises de côté, 166 mesures restent.
3. Compar:IA : 1 conversation retirée (colonne « mode » corrompue). Chaque conversation compare deux modèles : elle est séparée en deux réponses (côté A et B), soit 19 998 réponses.
4. 1 516 réponses n'ont aucune estimation d'électricité ; elles ne comptent pas dans les calculs. 18 326 réponses sont utilisables.
5. Jointure mesure ↔ estimation : les 9 modèles présents dans les deux sources ont été reliés à la main, un par un. Un rapprochement automatique par ressemblance de noms fabriquait de fausses paires.
6. Raisonnement : même modèle, même campagne, rapport entre l'énergie avec et sans raisonnement (10 modèles). Côté conversations, rapport des tokens médians pour les 12 modèles qui ont au moins 10 réponses avec et 10 sans raisonnement.
7. Qwen3-235B-A22B consomme autant avec que sans raisonnement (×1), sans explication dans les données : il est montré mais écarté de la fourchette.

Conversion d'unité, posée par nous : 1 Wh = une ampoule LED de 10 W allumée 6 minutes. Les fichiers du site contiennent donc des secondes d'ampoule, arrondies à deux décimales.

Limites et biais identifiés

• L'estimation n'est qu'une formule. Pour la plupart des modèles, l'électricité estimée par Compar:IA vaut simplement le nombre de tokens multiplié par un coefficient fixe. La corrélation entre kWh et tokens est donc construite : elle ne prouve rien.
• Deux unités qui ne se comparent pas. Le laboratoire donne des Wh par requête de test, l'estimation des Wh pour 1 000 tokens. On ne les compare que par leurs rangs et leurs écarts, jamais par leurs valeurs.
• Le laboratoire n'est pas la vie réelle. Chaque modèle répond à 1 000 requêtes standard sur une carte NVIDIA H100, une par une. Seule l'énergie de cette carte est mesurée.
• Un échantillon de volontaires. Les conversations Compar:IA viennent de personnes qui choisissent de comparer des modèles : ce n'est pas un échantillon représentatif des usages.
• Neuf modèles seulement. Seuls neuf modèles sont présents dans les deux sources ; l'estimation de certains repose sur peu de réponses (Apertus-8B : 7).
• Les assistants du grand public manquent. ChatGPT, Gemini, Claude ou Le Chat ne sont pas mesurés de façon indépendante dans AI Energy Score.
• Ce qui n'est pas compté. L'entraînement des modèles, la fabrication du matériel, le refroidissement, l'eau et le réseau.

Pourquoi chaque visualisation est exportée ainsi

La question qui tranche : est-ce que ça doit bouger chez le lecteur ?

Vérifier et réutiliser

Tout le traitement (nettoyage, jointures, calculs) est détaillé dans lenotebook Observable de l'équipe. Les fichiers ci-dessous sont les seules données du site : colonnes utiles, dénominateur conservé, deux décimales. Les fichiers bruts du défi ne sont pas publiés ici.

• taches.json : Valeur médiane par tâche, en secondes d'ampoule LED (V1)
• paires.json : Neuf modèles mesurés et estimés (V2, V4)
• raisonnement.json : Facteurs du raisonnement, laboratoire et conversations (V3)
• chiffres.json : Effectifs et contrôles du traitement (cette page)