Le Coefficient Kappa

	Introduction
	Définition de l'accord
	Accord entre 2 juges
	Accord entre plusieurs juges
	Limites du test
	Usages du test
	Applications pratiques
	Conclusion
	Annexes

Références

 

	Téléchargement
	Liens Internet
	Note de l'auteur
	Contact

Accord entre 2 juges

Définition du coefficient Kappa

 L’accord observé entre des jugements qualitatifs ou non, résulte de la somme d’une composante «aléatoire» et d’une composante d’accord «véritable».

 Le coefficient Kappa K propose de chiffrer l’intensité ou la qualité de l’accord réel entre des jugements qualitatifs appariés.

 Il exprime une différence relative entre la proportion d’accord observée P_o et la proportion d’accord aléatoire P_e qui est la valeur espérée sous l’hypothèse nulle d’indépendance des jugements, divisée par la quantité disponible au-delà de l’accord aléatoire^[4].

 En définitive, K est un pourcentage de l’accord maximum corrigé de ce qu’il serait sous le simple effet du hasard.

La valeur vraie du coefficient Kappa dans la population est une variable aléatoire qui suit approximativement une loi de Gauss de moyenne K et de variance Var(K). L’hypothèse nulle H₀ est K = 0 contre l’hypothèse alternative H₁ : K > 0.

 Dans le cas d’une étude d’accord entre deux observateurs statistiquement indépendants ayant r modalités de jugement, avec r ³ 2, le coefficient Kappa s’écrit :

avec

P_o    : la proportion d’accord observée.

P_e    : la proportion d’accord aléatoire ou concordance attendue sous l’hypothèse d’indépendance des jugement.

Les tableaux I et II présentent la notation utilisée lorsque les données sont présentées dans un tableau de contingence.

 Tableau I - Proportions jointes des jugements de deux juges sur une échelle avec r catégories

Tableau II - Effectifs joints des jugements de deux juges sur une échelle avec r catégories

On appelle concordance observée P_o, la proportion des individus classés dans les cases diagonales de concordance du tableau de contingence, soit la somme de ces effectifs diagonaux divisée par la taille de l’échantillon (n).  

avec r le nombre de modalités de jugement.  

 

Et la concordance aléatoire P_e qui est égale à la somme des produits des effectifs marginaux divisée par le carré de la taille de l’échantillon.

 

  

Le coefficient Kappa est un nombre réel, sans dimension, compris entre -1 et 1. L’accord sera d’autant plus élevé que la valeur de Kappa est proche de 1 et l’accord maximal est atteint (K = 1) lorsque P_o = 1 et P_e = 0,5.

 

Lorsqu’il y a indépendance des jugements, le coefficient Kappa est égal à zéro (P_o = P_e), et dans le cas d’un désaccord total entre les juges, le coefficient Kappa prend la valeur -1 avec P_o = 0 et P_e = 0,5.

 

Landis et Koch^[5] ont proposé un classement de l’accord en fonction de la valeur de Kappa présenté dans le tableau III.

 

Tableau III - Degré d’accord et valeur de Kappa

Accord	Kappa
Excellent	³ 0,81
Bon	0,80 - 0,61
Modéré	0,60 - 0,41
Médiocre	0,40 - 0,21
Mauvais	0,20 - 0,0
Très mauvais	< 0,0

 

Les limites de ce classement sont arbitraires et peuvent varier selon l’étude réalisée ; par exemple en psychiatrie où la part d’incertitude est grande, un accord modéré dans l’échelle proposée ci-dessus pourrait être considéré excellent. Dans tous les cas, le classement devra être défini avec des experts avant la réalisation de l’étude.

 

Remarque

 La valeur du coefficient Kappa global est égale à la moyenne pondérée des coefficients Kappa de chacune des catégories de jugements. Le calcul des Kappa catégoriels permet une étude plus fine des éventuelles discordances entre les juges (un exemple au format PDF).

 

	Exemple
	Le coefficient Kappa pondéré
	Signification statistique

 

Pour tout savoir ou presque sur le test statistique Kappa...