 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Limites du test
|
|
Sensibilité aux erreurs systématiques entre les juges |
Feinstein
et Cicchetti[14]
ont décrit le paradoxe que des effectifs marginaux non équilibrés donnent un
Kappa supérieur à des effectifs marginaux équilibrés.
Considérons
par exemple les deux tableaux de contingence, présentés dans les tableaux VI
et VII, qui ne diffèrent seulement que par les
effectifs des jugements discordants.
Tableau
VI -
Etude avec des effectifs marginaux non biaisés
|
|
|
Résultat du test A |
|
|
|
|
Réponses |
+ |
- |
Total |
|
Résultat |
+ |
40 |
20 |
60 |
|
du test B |
- |
20 |
20 |
40 |
|
|
Total |
60 |
40 |
100 |
Tableau
VII - Etude avec des effectifs marginaux biaisés
|
|
|
Résultat du test A |
|
|
|
|
Réponses |
+ |
- |
Total |
|
Résultat |
+ |
40 |
35 |
75 |
|
du test B |
- |
5 |
20 |
25 |
|
|
Total |
45 |
55 |
100 |
Le
tableau VI donne un Kappa = 0,17
(Po = 0,6 et Pe
= 0,52) et le tableau VII un Kappa = 0,24
(Po = 0,6 et Pe
= 0,475).
Si
deux juges fournissent un tableau de contingence avec des effectifs marginaux
identiques ou proches, leur accord sera pénalisé par le test Kappa par rapport
à deux juges donnant des effectifs marginaux différents.
Les
erreurs systématiques entre les observateurs entraînent un meilleur résultat
du test car la concordance aléatoire calculée est plus faible dans ce cas.
|
|
|
|
|
|
|
|