« J’avais raison » ne se note pas.
Une probabilité, si.
Quelqu’un qui annonce « ça va monter » a raison ou tort, et c’est tout ce qu’on peut en dire. Il lui suffit d’annoncer ce qui monte le plus souvent pour avoir l’air bon. Quelqu’un qui annonce « 56 % de chances que ça monte » dit quelque chose de bien plus engageant : il accepte d’être noté sur la justesse de son doute, pas seulement sur le sens.
Une probabilité n’est pas une opinion déguisée. C’est une promesse vérifiable : « sur cent semaines où je dis 56 %, il devrait s’en produire environ 56 ». Quelqu’un qui annonce 90 % et se trompe une fois sur deux n’est pas malchanceux — il est mal calibré, et ça se mesure.
Le score de Brier, en trois gestes
C’est la note standard d’une prévision probabiliste, et elle tient en une soustraction suivie d’un carré. Prenons un vrai exemple de la semaine : le pari sur l’or, annoncé à 56 % de chances de hausse. L’or a monté.
On écrit l’issue en 1 ou 0
L’événement s’est produit, on note 1. S’il ne s’était pas produit, on noterait 0. Il n’y a pas d’entre-deux : c’est ce qui rend la note incontestable.
issue = 1 (l’or a bien monté)
On mesure l’écart entre ce qu’on a annoncé et ce qui est arrivé
On avait dit 0,56. Il est arrivé 1. L’écart vaut donc 0,44. Plus on est proche de la vérité, plus cet écart est petit.
écart = 1 − 0,56 = 0,44
On met cet écart au carré
C’est le seul geste qui demande une explication. Élever au carré punit beaucoup plus les grosses erreurs que les petites : se tromper de 0,4 coûte quatre fois plus que se tromper de 0,2, et non deux fois. C’est exactement ce qu’on veut d’une note qui doit décourager la fausse assurance.
Brier = 0,44 × 0,44 = 0,1936
Le score de Brier va de 0 à 1, et plus il est bas, meilleur c’est. Zéro veut dire « j’ai annoncé 100 % et c’est arrivé ». Un veut dire « j’ai annoncé 100 % et c’est le contraire qui est arrivé ». Annoncer 50 % à chaque fois donne toujours 0,25, quoi qu’il arrive : c’est le score de celui qui refuse de s’engager.
Essayez vous-même
Déplacez la probabilité, changez l’issue, et regardez la note bouger. C’est le moyen le plus rapide de sentir pourquoi une forte conviction fausse coûte si cher.
L’avantage est positif quand votre note bat celle du repère, négatif sinon. Poussez la probabilité à 99 % puis choisissez « c’est descendu » : la note explose. C’est toute la raison pour laquelle on ne dit pas 99 % à la légère.
Cet outil demande JavaScript, qui n’est pas actif. Le tableau ci-dessous donne les mêmes valeurs pour les cas les plus parlants, contre le repère de l’or (52,8 %). Aucune information n’est perdue.
| Annoncé | Issue | Votre note | Note du repère | Avantage |
|---|---|---|---|---|
| 56 % | monté | 0,194 | 0,223 | +0,131 |
| 56 % | descendu | 0,314 | 0,279 | −0,125 |
| 50 % | monté | 0,250 | 0,223 | −0,122 |
| 75 % | monté | 0,063 | 0,223 | +0,719 |
| 75 % | descendu | 0,563 | 0,279 | −1,018 |
| 99 % | descendu | 0,980 | 0,279 | −2,516 |
Annoncer 99 % et se tromper coûte −2,516, quand avoir raison à 75 % ne rapporte que +0,719. La punition est bien plus lourde que la récompense. C’est volontaire : une méthode de notation qui rendrait la surconfiance rentable produirait des prévisionnistes qui hurlent leurs certitudes.
La règle qui rend tout le reste honnête
Une note seule ne veut rien dire. 0,194 est-il bon ? Impossible à savoir sans une référence. Et le choix de cette référence est l’endroit exact où un bilan peut mentir sans écrire un seul chiffre faux.
Se comparer à 50 %, c’est-à-dire à quelqu’un qui tirerait à pile ou face. C’est la référence la plus simple à battre qui existe : il suffit de savoir que les marchés d’actions montent un peu plus d’une semaine sur deux pour la dépasser sans avoir rien analysé. Un bilan comparé à 50 % fabrique de la performance au lieu de la mesurer.
Se comparer à ce qui était déjà probable : la base rate. Sur l’or, la fréquence historique de hausse hebdomadaire vaut 52,8 %. Annoncer 56 %, c’est donc ne parier réellement que 3,2 points. Le reste, l’histoire l’avait déjà dit.
L’avantage se calcule alors ainsi : on prend sa propre note, on la divise par celle du repère, et on retire le tout de 1.
avantage = 1 − (votre note ÷ note du repère) = 1 − (0,1936 ÷ 0,2228) = +0,131
Ailleurs sur cette page les notes sont arrondies à trois décimales, par confort de lecture. Ici on en garde quatre, et ce n’est pas un détail : avec 0,194 et 0,223, le calcul retombe sur 0,130 et non sur 0,131. Un arrondi appliqué avant une division se propage dans le résultat — c’est la raison pour laquelle un lecteur qui refait le calcul de tête doit pouvoir tomber exactement sur le nôtre.
Un avantage positif signifie qu’on a fait mieux que ce qui était déjà connu. Un avantage nul signifie qu’on n’a rien apporté — même si l’on a eu raison.
On additionne les notes, jamais les avantages
Pour résumer neuf paris en un seul chiffre, il existe deux façons de faire. L’une est juste, l’autre donne un résultat qui ne répond à aucune question.
Calculer l’avantage de chaque pari, puis en faire la moyenne. Le problème : chaque avantage est une division, et faire la moyenne de neuf divisions ne donne pas la division du total. La moyenne accorde à chaque pari exactement un neuvième du poids, quel que soit l’enjeu réel de ce pari.
Additionner les neuf notes d’un côté, les neuf notes du repère de l’autre, puis faire la division une seule fois, à la fin. Chaque pari pèse alors ce que le repère avait réellement à perdre dessus. C’est la seule opération qui réponde à la question « sur l’ensemble de la semaine, avons-nous fait mieux que le repère ? ».
Sur cette semaine, la bonne méthode donne +0,0372 et la mauvaise +0,0255. La mauvaise est donc ici la moins flatteuse — et c’est ce qui la condamne le mieux : son erreur ne penche pas toujours du même côté, on ne peut même pas la corriger de tête. L’essentiel de l’écart vient du pari sur le découplage de l’or : c’est celui où le repère historique se trompait le plus, donc celui qui pesait le plus lourd dans le calcul juste — et la moyenne le ramène à un neuvième comme les autres. C’est une erreur qui ne se voit jamais : elle produit un chiffre plausible.
À partir de quand une bonne semaine cesse-t-elle d’être de la chance ?
Nous avons obtenu +0,0372 d’avantage. Reste la seule question qui compte : est-ce le signe d’une compétence, ou aurait-on obtenu autant en tirant au sort ? Pour y répondre, on simule.
On suppose qu’on n’apporte rien
On imagine que chaque actif monte ou descend simplement selon sa fréquence historique, sans qu’aucune analyse n’intervienne. C’est l’hypothèse à battre.
On respecte le fait que les actifs bougent ensemble
C’est le point technique qui change tout. Si l’euro et la livre montent souvent en même temps, alors une semaine chanceuse est chanceuse sur les deux à la fois : les bons résultats par hasard sont plus fréquents qu’on ne le croirait en les supposant indépendants.
On rejoue la semaine 200 000 fois
Puis on regarde quel avantage il faut dépasser pour être dans les 5 % de tirages les plus chanceux. En dessous de ce seuil, on ne peut rien affirmer.
Le 0,070 venait d’une convention écrite à la main : un pari dérivé d’un autre comptait pour une demi-observation. La simulation, elle, part de la structure réellement mesurée. Le seuil est presque deux fois plus haut, donc beaucoup plus difficile à atteindre — la correction nous dessert, et c’est ce qui la rend crédible.
Ce résultat ne dit pas que l’analyse ne sert à rien : une semaine ne peut pas trancher cette question, quel qu’en soit le résultat. Il dit exactement ceci : sept prédictions justes sur neuf est une semaine parfaitement banale, et quiconque en tirerait une conclusion — dans un sens ou dans l’autre — parlerait plus vite que ce que les chiffres permettent.
C’est aussi pourquoi les prédictions sont écrites avant, jamais retouchées, et accumulées semaine après semaine. Huit semaines, et la question deviendra posable.