Bayesian oplysninger kriterium

I statistikken, Bayesian oplysninger kriterium eller Schwarz kriterium er et kriterium for model udvælgelse blandt et begrænset sæt af modeller. Det er delvist baseret på sandsynligheden funktion og den er tæt knyttet til Akaike information kriterium.

Ved montering modeller, er det muligt at øge sandsynligheden ved at tilføje parametre, men dette kan resultere i overfitting. Både BIC og AIC løse problemet ved at indføre en straf betegnelse for antallet af parametre i modellen; straffen sigt er større i BIC end i AIC.

BIC blev udviklet af Gideon E. Schwarz, som gav et Bayesian argument for at vedtage det.

Matematisk

BIC er en asymptotisk resultat udledt under de forudsætninger, at de data fordelingen er i den eksponentielle familie. Lad:

  •  = De observerede data;
  •  = Antallet af datapunkter i, at antallet af observationer, eller ækvivalent, stikprøvestørrelsen;
  •  = Antallet af frie parametre, der skal estimeres. Hvis modellen under overvejelse, er en lineær regression, er antallet af regressorer, herunder skæring;
  •  = Den marginale sandsynligheden for de observerede givne data modellen; dvs. integralet af Likelihoodfunktionen gange den kendte sandsynlighedsfordeling over modellens parametre for fast observeret data;
  •  = Maksimeret værdi af sandsynligheden funktion af modellen, dvs., hvor er parameterværdierne, som maksimerer sandsynligheden funktion.

Formlen for BIC er:

For store, kan dette tilnærmes ved:

Under den antagelse, at modellens fejl eller forstyrrelser er uafhængige og identisk fordelte ifølge en normalfordeling, og at randbetingelse, at derivatet af log sandsynligheden for så vidt angår den sande varians er nul, bliver dette:

hvor er fejlen varians.

Fejlen variansen i dette tilfælde er defineret som

Man kan påpege fra sandsynlighedsteori, der er en forudindtaget estimator for den sande varians ,. Lad betegne den fordomsfri tilnærmelse til fejlen varians, der defineres som

Følgende udgave kan være mere medgørlig:

for nogle konstant, der ikke varierer mellem kandidat modeller, men afhænger kun på de datapunkter.

Givet to estimerede modeller, modellen med den lavere værdi af BIC er den at foretrække. BIC er en voksende funktion af og en stigende funktion af k. Det vil sige, uforklarlig variation i den afhængige variabel og antallet af forklarende variabler øge værdien af ​​BIC. Derfor lavere BIC indebærer enten færre forklarende variable, bedre pasform, eller begge dele. Styrken af ​​beviser mod modellen med den højere BIC værdi kan sammenfattes således:

BIC generelt straffer frie parametre stærkere end den Akaike information kriterium, selv om det afhænger af størrelsen af ​​n og relative størrelse af n og k.

Det er vigtigt at huske på, at BIC kan bruges til at sammenligne estimerede modeller, når de numeriske værdier af den afhængige variabel er ens for alle estimater, der sammenlignes. Modellerne, der sammenlignes behøver ikke indlejres i modsætning til tilfældet, når modeller bliver sammenlignet under anvendelse af en F-test eller en likelihood ratio test.

Karakteristik af Bayesian oplysninger kriteriet

  • Den er uafhængig af den kendte eller den kendte er "vagt".
  • Det kan måle effektiviteten af ​​parameteriserede model i form af forudsige dataene.
  • Det straffer kompleksiteten af ​​modellen, hvor kompleksiteten refererer til antallet af parametre i modellen.
  • Det er omtrent lig med den minimale beskrivelse længde kriterium, men med negativt fortegn.
  • Det kan bruges til at vælge antallet af klynger i henhold til den iboende kompleksitet stede i et bestemt datasæt.
  • Det er tæt forbundet med andre straffes likelihood kriterier såsom RIC og Akaike information kriterium.

Applikationer

BIC har været meget anvendt til identifikation modellen i tidsserier og lineær regression. Det kan imidlertid anvendes ganske bredt til et sæt af maximum likelihood-baserede modeller. Men i mange applikationer, BIC blot reducerer til maksimumvalg sandsynlighed, fordi antallet af parametre er ens for modellerne af interesse.

  0   0
Forrige artikel Dublin Rebels
Næste artikel 14. Test Squadron

Relaterede Artikler

Kommentarer - 0

Ingen kommentar

Tilføj en kommentar

smile smile smile smile smile smile smile smile
smile smile smile smile smile smile smile smile
smile smile smile smile smile smile smile smile
smile smile smile smile
Tegn tilbage: 3000
captcha