---

Hej Gruppe,

Jeg sidder med en opgave, hvor jeg skal udregne AIC (Akaike Information
Criteria) og BIC (Bayesian Informatioin Criteria) og MAPE (Mean Aboslute
Error). Alle værdierne er udtryk for pålidelighedstest af prognosemodeller.
Men hvad er forskellen rent praktisk? Hvornår bruger man én frem for en
anden?

Vh.
Simon

---

> Jeg sidder med en opgave, hvor jeg skal udregne
AIC (Akaike Information
> Criteria) og BIC (Bayesian Informatioin
Criteria) og MAPE (Mean Aboslute
> Error). Alle værdierne er udtryk for
pålidelighedstest af prognosemodeller.
> Men hvad er forskellen rent praktisk? Hvornår
bruger man én frem for en
> anden?

Jeg har kun et overfladisk kendskab til AIC og
BIC. MAPE kender jeg ikke, men jeg vil tro at
nedenstående kommentarer gælder for den også.

De bruges i følgende situation. Når man analyserer
data på baggrund af en AR model (eller mere
generelt ARMA) så antager man sædvanligvis at p -
antal lags som skal med i modellen - er kendt.
Desværre er det ofte ukendt/uklart hvor mange lags
man skal medtage. En måde at afgøre det på er at
se på autokorrelatiosnfunktionen eller den
partelle autokorrelatiosnfunktion. En anden måde
er at udregne AIC(p) og så vælge det p som giver
størst AIC. Du bruger det altså til at bestemme
antal lag i en model. Det har en stor fordel: man
slipper for at tænke selv og foretage subjektive
vurderinger. Og det har en alt overskyggende
ulempe: man tænker ikke selv. Studier har vist at
baserer man sin modelselektion på AIC bliver ens
estimater/prediktioner ofte meget biased og ens
konfidensintervaller meget smallere end de rigtigt
er (mere optimistiske). Ovenstående gælder også
for BIC. Værdierne af BIC og AIC kan ikke
sammenlignes. Forskellen ligger i at i udtrykket
for BIC(p) tæller et stort p (mange parametere)
mere ned i vurderingen end i udtrykket for AIC(p).
Med BIC vil man altså have en tendens til at vælge
et mindre p.

Min egen mening om disse modelselektionskriterier
er at det er noget fup :) og skal i bedste fald
bruges _meget_ varsomt. Alligevel bruger "folk"
dem meget, og det skyldes at man gerne vil henvise
til et tal når man begrunder valget af p. Men
valget af p er en _antagelse_ og _intet_ tal kan
erstatte en god modelundersøgelse.

AIC og BIC er begge udtryk for "automatisk
modelvalg" noget som er kontroversielt blandt
statistikere, og som man faktisk ikke ved særligt
meget om. Der bliver dog forsket en del i det, men
det er et temmeligt svært område. Uden at være
ekspert tror jeg ikke der er sket det helt store i
de sidste 20 år :) Nu er det nok udenfor din
interesse, men en af de store kanoner er vistnok
David Hendry fra Nuff College i Oxford.

Kasper

---

Simon Hermansen wrote:
> Alle værdierne er udtryk for pålidelighedstest af prognosemodeller.
> Men hvad er forskellen rent praktisk?

Lad os sige du har nogle data D. Og en række modeller M1,..,Mn.

Du kan så vælge at spørge givet data, hvad er sandsyneligheden
for at en modellen fx. Mi er sand?

Du kan vælge at spørge hvis modellen Mi er sand, hvad er
sandsyneligheden for at observere dataene?

Du kan også spørge givet data, hvilken model har gør de bedste
forudsigelser om fremtidige trends?

Du kan også spørge givet data, hvilken model har gør de bedste
forudsigelser om fortidige årsager?

De to sidste er forskellige idet fortidige årsager kan have
en kasual effekt på D, mens D kan have en kausal effekt på
fremtidige trends.

Osv.osv.

Dvs. 'bedste fit' afhænger af hvad du ønsker at bruge dit fit til.
De forskellige tests afhænger alle af forskellige definitioner
af hvad 'godt er'.

Hvilke der er bedst til hvad aner jeg ikke.

--
Mvh. Carsten Svaneborg
Hvilke softwarepatenter har du krænket idag?
Se http://www.softwarepatenter.dk