A penalized quasi-likelihood approach for estimating the number of states in a hidden markov model

• Main Author: McGillivray, Annaliza
• Other Authors: Abbas Khalili Mahmoudabadi (Internal/Supervisor)
• Format: Others
• Language: en
• Published: McGill University 2012
• Subjects: Pure Sciences - Statistics
• Online Access: http://digitool.Library.McGill.CA:80/R/?func=dbin-jump-full&object_id=110634

In statistical applications of hidden Markov models (HMMs), one may have no knowledge of the number of hidden states (or order) of the model needed to be able to accurately represent the underlying process of the data. The problem of estimating the number of states of the HMM is thus a task of major importance. We begin with a literature review of the major developments in the problem of order estimation for HMMs. We then propose a new penalized quasi-likelihood method for estimating the number of hidden states, which makes use of the fact that the marginal distribution of the HMM observations is a finite mixture model. Starting with a HMM with a large number of states, the method obtains a model of lower order by clustering and merging similar states of the model through two penalty functions. We study some of the asymptotic properties of the proposed method and present a numerical procedure for its implementation. The performance of the new method is assessed via extensive simulation studies for normal and Poisson HMMs. The new method is more computationally efficient than existing methods, such as AIC and BIC, as the order of the model is determined in a single optimization. We conclude with applications of the method to two real data sets. === Dans les applications des chaînes de Markov cachées (CMC), il se peut que les statisticiens n'aient pas l'information sur le nombre d'états (ou ordre) nécessaires pour représenter le processus. Le problème d'estimer le nombre d'états du CMC est ainsi une tâche d'importance majeure. Nous commençons avec une revue de littérature des développements majeurs dans le problème d'estimation de l'ordre d'un CMC. Nous proposons alors une nouvelle méthode de la quasi-vraisemblance pénalisée pour estimer l'ordre dans des CMC. Cette méthode utilise le fait que la distribution marginale des observations CMC est un mélange fini. La méthode débute avec un CMC avec un grand nombre d'états et obtient un modèle d'ordre inférieur en regroupant et fusionnant les états à l'aide de deux fonctions de pénalité. Nous étudions certaines propriétés asymptotiques de la méthode proposée et présentons une procédure numérique pour sa mise en œuvre. La performance est évaluée via des simulations extensives. La nouvelle méthode est plus efficace qu'autres méthodes, comme CIA et CIB, comme l'ordre du modèle est déterminé dans une seule optimisation. Nous concluons avec l'application de la méthode à deux vrais jeux de données.