Le Coefficient Kappa

	Introduction
	Définition de l'accord
	Accord entre 2 juges
	Accord entre plusieurs juges
	Limites du test
	Usages du test
	Applications pratiques
	Conclusion
	Annexes

Références

 

	Téléchargement
	Liens Internet
	Note de l'auteur
	Contact

Applications pratiques

Estimation de l'accord entre deux juges

	Estimation de l'accord multi-juges
	Estimation du Kappa maximal

        A) Cas de 2 juges et 2 modalités de jugement

L’étude d’accord citée par Landis et Koch comporte les résultats d’une deuxième séance de concordance entre ces deux neurologues portant sur 69 autres patients (tableau XIX).

Tableau XIX - Classification des patients par les deux neurologues

En outre, nous décidons d’estimer le Kappa maximal que nous pourrions obtenir avec la matrice des poids de concordance du tableau XVI ce qui nous permet d’écrire un nouveau tableau de contingence 2´2 pour chacune des séances de concordance (tableaux XX et XXI). Les cases grisées du tableau XIX montrent les effectifs à sommer pour transformer le tableau originel.

Tableau XX - Nouveau tableau de contingence pour la séance de concordance n°1

Tableau XXI - Nouveau tableau de contingence pour la séance de concordance n°2  

Nous avons donc 6 informations indépendantes qui nous permettent d’estimer la sensibilité et la spécificité des deux neurologues et la prévalence de la sclérose en plaques dans chacune des études, soit 6 paramètres à estimer. Ces paramètres nous permettront d’estimer dans un deuxième temps par la méthode de Walter  le Kappa maximal que l’on puisse espérer entre les deux neurologues.

Walter^[21] recommande que la prévalence du signe recherché soit suffisamment différente entre les deux études pour que l’estimation des paramètres soit sans biais.

¨ Estimation des sensibilités, spécificités et prévalences

Nous n’allons pas maximiser la fonction log-vraisemblance de Hui et Walter, mais minimiser la somme des carrés des écarts entre les effectifs observés et les effectifs calculés. Minimiser le critère des moindres carrés ordinaires est plus difficile à optimiser mais présente à notre avis deux avantages :

¨                     si les paramètres estimés expliquent tous les effectifs observés, le critère d’optimisation tend vers zéro ce qui nous permet de vérifier directement la convergence ;

¨                     il semble que l’estimation des paramètres est plus précise par ce critère car la fonction logarithmique nivelle les différences.

Mises à part ces considérations, l’estimation des paramètres, d’après de nombreuses simulations, est identique entre ces deux critères d’optimisation. Nous avons représenté (figure III et IV) le tracé de la fonction log-vraisemblance et de notre critère en fixant l’optimum pour une prévalence égale à 0,05, les sensibilités et les spécificités des juges à 0,9. Nous faisons varier sur un axe la prévalence entre 0 et 1 et sur le deuxième axe l’ensemble des sensibilités et spécificités des juges.

Il faut noter que nous avons inversé le signe de la fonction log-vraisemblance pour que l’optimum soit un minimum.

Figure III - Représentation graphique de la fonction log-vraisemblance

Figure IV - Représentation graphique de notre critère

Les nombreuses simulations effectuées semblent montrer que la fonction log-vraisemblance permet une convergence rapide, mais qui devient de plus en plus difficile au fur et à mesure que l’on approche la solution. Le critère des moindres carrés ordinaires semble permettre quant à lui une convergence plus fine.

L’algorithme trouve un optimum à 1,0E^-16. La solution correspondante explique tous les sujets des deux études :

¨ Sensibilité du neurologue n°1 : S_e1 = 0,997

¨ Sensibilité du neurologue n°2 : S_e2 = 0,797

¨ Spécificité du neurologue n°1 : S_p1 = 0,659

¨ Spécificité du neurologue n°2 : S_p2 = 0,864

¨ Prévalence de la sclérose en plaques dans l’étude n°1 : P₁ = 0,718

¨ Prévalence de la sclérose en plaques dans l’étude n°2 : P₂ = 0,364

Remarque n°1

Comme le montrent les figures III et IV, la solution n’est pas unique puisqu’elle possède une solution symétrique définie par :

¨ a₁ = 1 - S_p1 = 0,341

¨ a₂ = 1 - S_p2 = 0,136

¨ b₁ = 1 - S_e1 = 0,003

¨ b₂ = 1 - S_e2 = 0,203

¨ 1 - P₁ = 0,282

¨ 1 - P₂ = 0,636

Selon la valeur donnée au point initial de l’optimisation, l’algorithme peut converger vers l’une ou l’autre des solutions. Il faut donc toujours vérifier, que les estimations concordent avec les effectifs du ou des tableaux de contingence.

Remarque n°2

Pour être complet, il faudrait calculer l’écart-type des estimateurs à partir de l’inverse de la matrice d’information de la vraisemblance.

¨ Estimation du Kappa maximal

 Selon les formules de Walter, la prévalence de la sclérose en plaques qui offrirait la possibilité de concordance la plus élevée est égale à 0,58. Le Kappa maximal serait égal à 0,43 compte-tenu de la matrice des poids de concordance appliquée aux études.

        B) Cas de 3 juges et 2 modalités de jugement

Pour tout savoir ou presque sur le test statistique Kappa...