 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Limites du test
|
|
|
|
|
Sensibilité à la prévalence du signe cherché |
Rappelons
tout d’abord quelques définitions utilisées en épidémiologie.
F On appelle prévalence (P)
d’une maladie dans une population donnée le pourcentage de sujets atteints de
la maladie dans cette population.
F La sensibilité (Se)
d’un examen représente le pourcentage de vrais positifs (VP) parmi les
malades. Elle correspond à la probabilité que l’examen soit positif (S+)
chez les malades (M+) : Se
= P(S+ / M+). Dans notre exposé, elle exprime l’aptitude d’un juge à détecter
tous les cas du signe cherché.
F La spécificité (Sp)
d’un examen représente le pourcentage de vrais négatifs (VN) parmi les non
malades. Elle correspond à la probabilité que l’examen soit négatif (S-)
chez les non malades (M-) : Sp
= P(S- / M-). Dans notre exposé, elle exprime l’aptitude d’un juge à ne détecter
que les cas du signe cherché.
Feinstein
et Cicchetti[14]
ont décrit un deuxième paradoxe ; la prévalence du signe cherché affecte
sensiblement le résultat du test Kappa.
Pour
montrer l’influence de la prévalence sur l’estimation de l’accord entre
les juges, nous avons calculé les variations de Kappa en fonction de la prévalence
du signe cherché, la sensibilité et la spécificité des juges sont fixées.
Soit
deux juges A et B pour lesquels on connaît la sensibilité et la spécificité
de leurs jugements pour le signe considéré. On réalise une étude de
concordance portant sur 100 sujets et deux modalités de réponse sont proposées
: positive et négative.
F
On fixe la sensibilité et la
spécificité des juges à 0,9
Les
résultats obtenus selon la prévalence sont présentés dans les tableaux VIII
et IX pour une prévalence respectivement égale à
0,1 et 0,5.
Le
tableau X regroupe l’ensemble des valeurs de Kappa en
fonction de la prévalence et la figure I montre
graphiquement l’influence de la prévalence sur la valeur du coefficient
Kappa.
Tableau
VIII -
Prévalence = 0,1
|
|
|
Juge A |
|
|
|
|
Réponses |
+ |
- |
Total |
|
Juge B |
+ |
9 |
9 |
18 |
|
|
- |
9 |
73 |
82 |
|
|
Total |
18 |
82 |
100 |
Résultat : K = 0,39 avec Po
= 0,82 et Pe = 0,705
Tableau
IX -
Prévalence = 0,5
|
|
|
Juge A |
|
|
|
|
Réponses |
+ |
- |
Total |
|
Juge B |
+ |
41 |
9 |
50 |
|
|
- |
9 |
41 |
50 |
|
|
Total |
50 |
50 |
100 |
Résultat : K = 0,64 avec Po
= 0,82 et Pe = 0,5
Tableau
X -Variation de Kappa en fonction de la prévalence
|
Prévalence |
Kappa |
|
0,01 |
0,07 |
|
0,05 |
0,25 |
|
0,10 |
0,39 |
|
0,20 |
0,53 |
|
0,30 |
0,60 |
|
0,40 |
0,63 |
|
0,50 |
0,64 |
|
0,60 |
0,63 |
|
0,70 |
0,60 |
|
0,80 |
0,53 |
|
0,90 |
0,39 |
|
0,95 |
0,25 |
|
0,99 |
0,07 |
Figure
I
- Variations
de Kappa
en fonction de la prévalence
La
valeur de Kappa, dans ce cas de figure, s’annule lorsque la prévalence du
signe cherché est nulle ou égale à 1. Elle est maximale quand la prévalence
est égale à 0,5.
F
On fixe la sensibilité des juges à
0,8 et leur spécificité à 1,0
Les
résultats obtenus selon la prévalence sont présentés dans les tableaux XI,
XII, XIII et
graphiquement dans la figure II.
Tableau
XI -
Prévalence = 0,1
|
|
|
Juge A |
|
|
|
|
Réponses |
+ |
- |
Total |
|
Juge B |
+ |
6,4 |
1,6 |
8 |
|
|
- |
1,6 |
90,4 |
92 |
|
|
Total |
8 |
92 |
100 |
Résultat : K = 0,78 avec Po
= 0,968 et Pe = 0,853
Tableau
XII -
Prévalence = 0,5
|
|
|
Juge A |
|
|
|
|
Réponses |
+ |
- |
Total |
|
Juge B |
+ |
32 |
8 |
40 |
|
|
- |
8 |
52 |
60 |
|
|
Total |
40 |
60 |
100 |
Résultat : K = 0,67 avec Po
= 0,84 et Pe = 0,52
Tableau
XIII -Variation de Kappa en fonction de la prévalence
|
Prévalence |
Kappa |
|
0,01 |
0,80 |
|
0,05 |
0,79 |
|
0,10 |
0,78 |
|
0,20 |
0,76 |
|
0,30 |
0,74 |
|
0,40 |
0,71 |
|
0,50 |
0,67 |
|
0,60 |
0,62 |
|
0,70 |
0,55 |
|
0,80 |
0,44 |
|
0,90 |
0,29 |
|
0,95 |
0,17 |
|
0,99 |
0,04 |
Figure
II - Variation
de Kappa en fonction de la prévalence
Contrairement
à l’exemple précédent, le Kappa est maximal lorsque la prévalence est
nulle et il diminue avec elle.
La
conséquence de cette dépendance entre le coefficient Kappa et la prévalence
est que des coefficients Kappa ne sont comparables que dans des situations
proches. De plus, cette sensibilité du coefficient à la prévalence peut être
à l’origine d’une valeur de Kappa «anormalement basse», origine qu’il
faudrait analyser lors de l’interprétation des résultats.
|
|
|
|
|