Fleiss 'kappa

Fleiss 'kappa er et statistisk mål for at vurdere pålideligheden af ​​en aftale mellem et fast antal raters ved tildeling kategoriske vurderinger til en række emner eller klassificering poster. Dette står i kontrast med andre Kappas såsom Cohens kappa, som kun fungerer ved vurderingen af ​​aftale mellem to bedømmere. Foranstaltningen beregner graden af ​​overensstemmelse i klassifikation over, hvad der ville forventes ved en tilfældighed. Der er ingen generelt aftalte mål for betydning, selv om der er givet retningslinjer.

Fleiss 'kappa kan kun bruges med binær eller nominel skala ratings. Ingen version er tilgængelig for bestilt-kategoriske vurderinger.

Introduktion

Fleiss 'kappa er en generalisering af Scotts pi statistik, et statistisk mål for inter-rater pålidelighed. Det er også relateret til Cohens kappa statistik. Ud fra følgende betragtninger Scotts pi og Cohens kappa arbejde for kun to raters, Fleiss 'kappa arbejder for et vilkårligt antal raters giver kategoriske vurderinger, til et fast antal elementer. Det kan tolkes som udtryk for, i hvilket omfang den observerede mængde enighed blandt raters overstiger, hvad der kunne forventes, hvis alle raters gjorde deres ratings helt tilfældigt. Det er vigtigt at bemærke, at mens Cohens kappa påtager sig samme to raters har vurderet en række elementer, der specifikt antager Fleiss 'kappa, at selv om der er et fast antal raters er forskellige elementer bedømt af forskellige individer. Det vil sige, punkt 1 er bedømt af Raters A, B og C; men punkt 2 kunne bedømt af Raters D, E og F.

Aftale kan opfattes som følger, hvis et fast antal mennesker tildeler numeriske ratings til en række punkter så kappa vil give et mål for, hvor konsekvent de menige er. Kappa ,, kan defineres som,

Faktoren giver graden af ​​aftale, der er opnåeligt over chance, og giver graden af ​​enighed faktisk opnåede over chance. Hvis raters er helt enige derefter. Hvis der ikke er enighed blandt de raters derefter.

Et eksempel på brugen af ​​Fleiss 'kappa kan være følgende: Overvej fjorten psykiatere bliver bedt om at se på ti patienter. Hver psykiater giver en af ​​eventuelt fem diagnoser til hver patient. Den Fleiss 'kappa kan beregnes fra denne matrix for at vise graden af ​​enighed mellem psykiatere over niveauet af aftale forventes ved en tilfældighed.

Ligninger

Lad N være det samlede antal emner, lad n være antallet af ratings pr emne, og lad k være antallet af kategorier, som opgaverne er lavet. Emnerne er indekseret af i = 1, ... N og de kategorier, der er indekseret af j = 1, ... k. Lad NIJ repræsenterer antallet af testere, der er tildelt den i'te omfattet af j'te kategori.

Første beregne pj er andelen af ​​alle opgaver, der var til j-te kategori:

Nu beregner, i hvilket omfang raters enige om den i'te emne:

Nu beregne, gennemsnittet for 's, og som går ind i formlen for:

Arbejdede eksempel

I det følgende eksempel, fjorten raters tildele ti "fag" til i alt fem kategorier. Kategorierne er præsenteret i søjlerne, mens de emner præsenteres i rækkerne. Hver celle er fyldt med antallet af raters der enighed om, at et bestemt emne tilhører en bestemt kategori.

Data

Se tabellen til højre.

 = 10, 14 =, = 5

Summen af ​​alle celler = 140
Sum af = 3,780

Beregninger

For eksempel tager den første kolonne,

Og tager den anden række,

For at beregne, har vi brug for at vide, at summen af,

Over hele arket,

Tolkning

Landis og Koch gav følgende tabel for at fortolke værdier. Denne tabel er dog på ingen måde universelt accepterede. De leverede ingen beviser til støtte herfor, at basere det i stedet på personlige mening. Det er blevet bemærket, at disse retningslinjer kan være mere skadelig end nyttige, da antallet af kategorier og emner vil påvirke størrelsen af ​​værdien. Kappa vil være højere, når der er færre kategorier.

  0   0
Forrige artikel Ernst Naumann
Næste artikel 1976 Frivillige 400

Kommentarer - 0

Ingen kommentar

Tilføj en kommentar

smile smile smile smile smile smile smile smile
smile smile smile smile smile smile smile smile
smile smile smile smile smile smile smile smile
smile smile smile smile
Tegn tilbage: 3000
captcha