Aller au contenu
Voir la fiche dans le portail

Résultats chiffrés : quelle fiabilité ?

Auteurs et date
  • Date de production de la fiche : 26/07/2021
  • Françoise Berthoud, ingénieure de recherche, GRICAD, CNRS

« Donnez-nous des chiffres ! », c'est une requête fréquente des journalistes qui cherchent à montrer du sensationnel, c'est une requête fréquente du public qui cherche à comparer et c'est une requête fréquente des scientifiques qui cherchent à comprendre, à mesurer, à évaluer, à modéliser.

Et pourtant, les chiffres ne disent pas tout et il arrive qu'ils ne disent pas ce qu'on imagine : il faut un minimum « d'expertise » pour comprendre et interpréter les chiffres. La question se pose aussi de leur fiabilité et du degré de confiance qu'on peut leur accorder.

Dans la thématique des impacts environnementaux du numérique, les chiffres sont partout : des émissions de gaz à effet de serre (GES) pour la fabrication d'un smartphone, au pourcentage d'électricité mondial consommé par le numérique en passant par le nombre d'années de réserve d'indium. Il y a aussi le pourcentage de gaz à effet de serre économisé grâce au numérique dans le secteur du transport, la quantité d'eau douce utilisée par la fabrication d'une tablette ...

Est-ce que ces chiffres sont fiables ?

Il faut distinguer plusieurs aspects :

  • Questions de méthodologie : un chiffre dépendra toujours du périmètre pris en considération (quels types d'équipements notamment), des années de référence, des très nombreuses hypothèses posées, des extrapolations, du modèle étudié, des données d'entrée prises en compte pour les calculs, de tout ce qui n'a pas été pris en compte, des choix réalisés pour la modélisation, etc. Autrement dit, la fiabilité d'un chiffre est d'autant plus grande que la qualité des données d'entrée est bonne et que la méthodologie est robuste.

  • Questions d'incertitudes : les incertitudes associées à un résultat sont de différentes natures. Il y a par exemple les incertitudes liées aux approximations que l'on fait dans les mesures, les estimations, etc. Et puis il y a les incertitudes liées aux méthodes employées ou au modèle utilisé, par exemple si le modèle oublie d'intégrer une donnée importante ou quand on fait une moyenne de moyennes. Dans tous les cas les incertitudes se cumulent dans les calculs.

    Enfin, lorsqu'elle est calculée cette incertitude est rarement communiquée au public. Si on prend l'exemple simple de données statistiques synthétisées en un seul chiffre (leur moyenne), les écarts à la moyenne seront masqués1.

    En résumé : la fiabilité d'un chiffre est d'autant plus forte que les incertitudes sont faibles et qu'elles sont communiquées.

  • Questions de transparence et d'ouverture des données : enfin, la confiance que l'on pourra accorder aux chiffres est d'autant plus forte que la qualité des données, les méthodologies et les incertitudes sont partagées par tous, mises à jour par des systèmes de révision croisée et dans tous les cas avec une totale transparence.
    Autrement dit, dans ce domaine, un chiffre communiqué seul n'est pas suffisant. Il doit être accompagné de tous les éléments permettant au lecteur d'estimer sa fiabilité et ses conditions de calcul. L'usage du chiffre devrait différer grandement en fonction de ces éléments.

Nous illustrerons ceci au travers de trois exemples : le premier tiré de la littérature scientifique, le 2ème issu du monde des logiciels et le 3ème issu d'une étude indépendante. Ces exemples illustrent des faiblesses couramment observées dans le vaste monde de la génération de données chiffrées.

Exemple 1 : un article sur la consommation électrique mondiale des réseaux de communication

Article : "Worldwide electricity consumption of communication networks". Sofie Lambert, Ward Van Heddeghem, Willem Vereecken, Bart Lannoo, Didier Colle, and Mario Pickavetnetworks. Publié dans : Optics Express Vol. 20, Issue 26, pp. B513-B524 (2012) 2

L'article précise la méthodologie utilisée et analyse la fiabilité des résultats en indiquant clairement les sources d'incertitudes. Cet article scientifique, publié dans un journal scientifique a fait l'objet d'une révision (review) par deux « reviewers » en général de façon anonyme. L'article scientifique doit permettre à son lecteur de retrouver les sources de toutes les données et les données elles-mêmes, et aussi de reproduire le résultat ou l'expérience (en théorie parce que en pratique c'est en général très compliqué). On parle alors de recherche reproductible3.

Ici l'article est en open access, c'est-à-dire gratuitement accessible par tous.

Alors, évidemment, la lecture ou la compréhension sont moins simples parce que tout doit être (en principe) posé, argumenté, justifié et vérifiable. Dans le cas présent on a accès aux hypothèses, aux sources des données, à la modélisation.

Le résultat est peut-être critiquable, mais lorsque c'est le cas, un nouvel article viendra probablement corriger, compléter dans un avenir plus ou moins proche et c'est aussi ce qui fait progresser la science.

Exemple 2 : un applicatif bien pratique Carbonalyser

Carbonalyser : une extension de navigateur (ou add-on) qui permet à un utilisateur de visualiser la consommation électrique et les émissions de gaz à effet de serre associées à sa navigation internet4

En réalité, aucun opérateur de réseau, aucun prestataire, aucun logiciel n'est en capacité aujourd'hui de mesurer la consommation énergétique précise du transport des données en temps réel et de leur traitement spécifique. Le calcul est donc construit à partir de données globales, moyennées et d'hypothèses qui sont explicitées clairement dans la méthodologie. Le code source et l'ensemble des données ayant servi au calcul sont d'ailleurs en accès libre.

Les auteurs précisent d'ailleurs « Carbonalyser n'est pas un outil d'évaluation ou d'audit. Il s'agit d'un support de sensibilisation individuelle, qui permet d'aider à visualiser un certain aspect de nos usages en ligne, au travers de comparaisons et d'indications sur la consommation électrique et émissions associées. Ces résultats ne sont donc pas des mesures de l'impact véritable des activités en ligne, mais des indicateurs d'ordre de grandeurs moyens obtenus par extrapolation d'un modèle macroscopique construit sur des moyennes statistiques mondiales. Carbonalyser n'est à utiliser que pour alimenter des réflexions individuelles sur ses propres usages ou pour inspirer la mise au point d'outils d'évaluation précise des impacts des activités en ligne. »

Dans cet exemple, les résultats sont estimés à partir d'un modèle accessible et transparent même si le modèle est imparfait.

Exemple 3 : Une étude sur l'empreinte mondiale du numérique5 (greenit.fr)

Pour calculer la quantité de GES émis par le numérique, les auteurs précisent le périmètre du numérique (types d'équipements pris en compte), puis à partir d'hypothèses sur la durée d'utilisation de chaque type et des volumes de vente calculent (sur la base de données partiellement non publiques comme les valeurs moyennes d'émission de GES pour la fabrication, le transport de ces équipements ou leur consommation annuelle moyenne) la part du secteur du numérique dans les émissions de gaz à effet de serre au niveau mondial.

Ici, il n'y a pas transparence sur les données de base, les hypothèses ne sont pas explicitées et les sources (notamment données d'entrée) en partie non disponibles. Enfin, les incertitudes ne sont pas chiffrées. Pour autant cette étude a le mérite d'être une des rares à donner des chiffres clés et a été très largement communiquée et reprise.

En conclusion

A retenir des remarques préalables de cette fiche et des exemples, dans le domaine des impacts environnementaux du numérique : un chiffre est le résultat d'une estimation dans des conditions spécifiques, avec une méthodologie spécifique, des incertitudes, des sources ; Le chiffre ne représente que ce qu'il représente avec toutes les limites associées. Il est donc important de prendre connaissance de l'ensemble de ces limites et parfois la conclusion est la non fiabilité du chiffre en question ; par exemple les estimations des impacts potentiellement positifs du numérique sont basés sur tellement d'extrapolations et d'hypothèses exagérément optimistes qu'elles n'ont pas vraiment de sens6,7.

Souvent dans ce domaine les chiffres doivent être pris comme des ordres de grandeur. Aussi les décimales n'ont en général aucun sens. Par exemple le numérique dans son ensemble (hors objets connectés) génère environ 4% des GES : c'est peut-être 2% ou 6% mais pas 50%, ni 0,4%.

Un ordre de grandeur, qu'est-ce que c'est ?

La définition de Wikipédia est : un ordre de grandeur est un nombre qui représente de façon simplifiée mais approximative la mesure d'une grandeur physique.

L'ordre de grandeur se mémorise plus facilement qu'une valeur précise et suffit pour de nombreux usages.

Scientifiquement, un ordre de grandeur correspond à une fourchette de valeurs. Celle-ci est, communément, d'un dixième à dix fois la grandeur. Ainsi, un objet dont la longueur est de l'ordre de 1 m (une table) est plus grand qu'un objet dont la longueur est de l'ordre de 1 dm (un crayon) et plus petit qu'un objet dont la longueur est de l'ordre de 10 m (un camion).

Connaître, avoir en tête ces ordres de grandeur (et les conditions / limites) peut être suffisant pour opérer des choix politiques ou prendre des résolutions législatives tout à fait pertinentes. A contrario, être en mesure d'exercer son esprit critique sur les chiffres communiqués à grand renfort de publicité est nécessaire pour ne pas faire des choix contre productifs !

Enfin, et vous l'aurez compris, dans l'immense majorité des cas, la comparaison de deux chiffres issus d'études différentes n'est pas faisable du fait des différences très probables d'hypothèses, de périmètres et de données d'entrée. Par contre, utiliser la même méthodologie, les mêmes conditions etc. au cours du temps pour comparer les progrès réalisés par exemple sur les GES émis par une structure donnée est très pertinent.

A retenir : qualité des données d'entrée, robustesse et transparence des méthodologies de calcul, ouverture et accessibilité, explicitation de toutes les hypothèses, précautions de communication sont les règles de base de toute communication de données chiffrées pour progresser ensemble sur la connaissance de nos impacts environnementaux.


  1. Définition de l'Ecart type dans Wikipédia 

  2. Sofie Lambert, Ward Van Heddeghem, Willem Vereecken, Bart Lannoo, Didier Colle, and Mario Pickavet, "Worldwide electricity consumption of communication networks," Opt. Express 20, B513-B524 (2012). Disponible sur osapublishing 

  3. Suggestion de vidéo @ScienceEtonnante sur le processus de revues par les pairs : Comment fact-checker une étude scientifique ?, ScienceEtonnante, David Louapre. Avril 2019. [consulté le 27/07/2021] 

  4. Carbonalyser 

  5. Frédéric Bordage. Empreinte environnementale du numérique mondial, 09/2019. Disponible sur le site GreenIT.fr [consulté le 27/07/2021] 

  6. Ademe. Potentiel de contribution du numérique à la réduction des impacts environnementaux : état des lieux et enjeux pour la prospective, 2016. Disponible sur le site de l'Ademe [consulté le 27/07/2021] 

  7. Gauthier Roussilhe. Que peut le numérique pour la transition écologique ? [en ligne], 2021. Disponible sur le site de l'auteur [consulté le 27/07/2021] 

  8. Définition de l'ordre de grandeur dans Wikipédia