EM- ja MCEM-algoritmi apuvälineenä suurimman uskottavuuden estimoinnissa
Tutkielmassa tutkitaan suurimman uskottavuuden menetelmään perustuvaa Expected Maximization-algoritmia (EM-algoritmi). Työn pääpaino on algoritmin ominaisuuksien teoreettisessa tarkastelussa eikä siinä käsitellä todellisia tutkimusongelmia tai empiirisiä aineistoja. Aluksi tarkastellaan algoritmia...
| Main Author: | |
|---|---|
| Format: | Dissertation |
| Language: | Finnish |
| Published: |
University of Oulu
2013
|
| Subjects: | |
| Online Access: | http://urn.fi/URN:NBN:fi:oulu-201312051972 http://nbn-resolving.de/urn:nbn:fi:oulu-201312051972 |
| Summary: | Tutkielmassa tutkitaan suurimman uskottavuuden menetelmään perustuvaa Expected Maximization-algoritmia (EM-algoritmi). Työn pääpaino on algoritmin ominaisuuksien teoreettisessa tarkastelussa eikä siinä käsitellä todellisia tutkimusongelmia tai empiirisiä aineistoja.
Aluksi tarkastellaan algoritmia matemaattisesti SU-menetelmän tavoin. Tämä teoriaosuus perustuu pääsääntöisesti McLachlanin ja Krishnanin kirjaan The EM Algorithm and Extensions (1997). Algoritmin avulla tutkitaan kahden normaalijakauman sekoitusta ja tähän liittyviä parametreja. Tämä esimerkki perustuu pääsääntöisesti Louisin (1982) artikkeliin.
EM-algoritmin lisäksi tutkitaan Monte Carlo EM-algoritmia (MCEM-algoritmi). Algoritmia sovelletaan yksinkertaisen yleistetyn lineaarisen sekamallin parametrien analysoinnissa. Aineistona käytetään McCullochin artikkelin esimerkin mukaan simuloitua binääristä dataa. Tässä osuudessa lähteinä on pääsääntöisesti käytetty McCullochin artikkelia Maximum likelihood algorithms for generalized linear mixed models (1997) ja Robertin ja Casellan kirjaa Introducing Monte Carlo Methods with R (2010).
Lopuksi vertaillaan muodostetulla MCEM-algoritmilla laskettuja estimaatteja toiseen Markovin ketju Monte Carlo-menetelmään. Tätä varten simuloitua aineistoa analysoidaan myös bayesiläisittäin soveltamalla Gibbsin otantaa parametrien posteriorien simuloimisessa. Pääasiallisena lähteenä on käytety Läärän kirjoittamaa luentomonistetta Johdatus bayesiläiseen tilastotieteeseen (2013).
EM-algoritmilla saatiin normaalijakaumien sekoituksessa erittäin hyviä SU-estimaatteja. Algoritmi on herkkä alkuarvojen valinnalle ja kaukana SU-estimaateista valituilla alkuarvoilla algoritmia on ajettava kauan uskottavuuden maksimoimiseksi. MCEM-algoritmin tapauksessa Monte Carlo otoskoon valitseminen liian suureksi lähinnä hidastaa algoritmia kohtuuttomasti eikä millään tavalla edistä algoritmin stabiloitumista. Tutkielmassa ei saatu MCEM-algoritmilla estimaatteja, jotka olisivat maksimoineet uskottavuusfunktion arvon. Laskemalla aineistosta bootsrap-estimaatit saatiin paremmat tulokset, joilla uskottavuusfunktion arvo on MCEM-estimaatteja suurempi. |
|---|