Le Coefficient Kappa

Introduction   

Définition de l'accord

Accord entre 2 juges

Accord entre plusieurs juges

Limites du test

Usages du test

Applications pratiques

Conclusion

Annexes

Références

 

Téléchargement 

Liens Internet

Note de l'auteur

Contact

Limites du test

Sensibilité aux erreurs systématiques entre les juges

Feinstein et Cicchetti[14] ont décrit le paradoxe que des effectifs marginaux non équilibrés donnent un Kappa supérieur à des effectifs marginaux équilibrés.

 

Considérons par exemple les deux tableaux de contingence, présentés dans les tableaux VI et VII, qui ne diffèrent seulement que par les effectifs des jugements discordants.

 

Tableau VI - Etude avec des effectifs marginaux non biaisés

 

 

Résultat du test A

 

 

Réponses

+

-

Total

Résultat

+

40

20

60

du test B

-

20

20

40

 

Total

60

40

100

 

Tableau VII - Etude avec des effectifs marginaux biaisés

 

 

Résultat du test A

 

 

Réponses

+

-

Total

Résultat

+

40

35

75

du test B

-

5

20

25

 

Total

45

55

100

 

Le tableau VI donne un Kappa = 0,17 (Po = 0,6 et Pe = 0,52) et le tableau VII un Kappa = 0,24 (Po = 0,6 et Pe = 0,475).

 

Si deux juges fournissent un tableau de contingence avec des effectifs marginaux identiques ou proches, leur accord sera pénalisé par le test Kappa par rapport à deux juges donnant des effectifs marginaux différents.

 

Les erreurs systématiques entre les observateurs entraînent un meilleur résultat du test car la concordance aléatoire calculée est plus faible dans ce cas.

 

Sensibilité à la prévalence du signe cherché

Corrections proposées

Méthode de Hui et Walter

 

Pour tout savoir ou presque sur le test statistique Kappa...