Contexte insuffisant

Mon dernier article concernait la génétique et ayant travaillé suffisamment longtemps avec des chercheurs (je le fais toujours mais quand ceux-ci veulent maintenant lancer une entreprise), je sais à quel point il est déroutant de voir à quel point des principes élémentaires d’analyse des données sont mal compris. Et parfois même par ceux qui en sont les plus utilisateurs, comme les épidémiologistes.

Dernièrement au cours d’un congrès médical il était présenté un nouveau test pour une pathologie X… test qui était fiable 99% du temps : si quelqu’un a la maladie X, il est correctement identifié 99% du temps, et seulement dans 1% des cas le test donne un faux positif. La conclusion frappée au sceau du bon sens et annoncée par le praticien sponsor de ce test était donc que 99% du temps, le test apportait une réponse correcte.

A ceci près que le bon sens ne s’occupe guère de contexte, pressé qu’il est de généraliser un résultat tangible.

Or en analyse de donnée en général (et en épidémiologie en particulier) le contexte est essentiel. La pathologie X étant une maladie orpheline avec une prévalence de 1 pour 10.000 (une personne porteuse sur 10.000), sur 64 millions d’habitants en France et donc 6.400 individus potentiellement atteints, le taux d’erreur du test engendre 640.000 faux positifs. L’efficacité réelle du test sur la population est donc de 6.400 / 646.400, soit moins de 1% !

Ne vous y trompez pas, je suis certain que le praticien qui présentait ces résultats maitrisait parfaitement ces raisonnements élémentaires en 1ère ou 2ème année de médecine. Mais ce jour là (peut être à cause de la qualité du buffet, ou de son enthousiasme de chercheur) son cerveau avait choisi de prendre le raccourci du bon sens, et d’oublier le contexte de son test…

Cette impression d’incrédulité surprise que vous pouvez avoir face à cette petite histoire, est certainement identique à celle que j’ai quand à la question “comment se porte votre entreprise ?” un dirigeant me répond “très bien, le chiffre d’affaire est en progression à deux chiffres !”.