Adaptive systems for hidden Markov model-based pattern recognition systems

• Main Author: Cavalin, Paulo Rodrigo
• Format: Others
• Published: École de technologie supérieure 2011
• Online Access: http://espace.etsmtl.ca/976/1/CAVALIN_Paulo_Rodrigo.pdf; http://espace.etsmtl.ca/976/7/CAVALIN_Paulo_Rodrigo%2Dweb.pdf

Cette thèse porte sur l’étude des systèmes adaptatifs pour la reconnaissance de formes. Habituellement les systèmes de reconnaissance reposent sur une connaissance statique du problème à résoudre et cela pour la durée de vie du système. Cependant il y a des circonstances où la connaissance du problème est partielle lors de l’apprentissage initial à l’étape de la conception. Pour cette raison, les systèmes de classification adaptatifs de nouvelle génération permettent au système de base de s’adapter à la fois en apprenant sur les nouvelles données et sont également capables de s’adapter à l’environnement lors de la généralisation. Cette thèse propose une nouvelle définition d’un système de reconnaissance adaptatif où les MMCs (Modèles de Markov Cachés) sont considérés comme étude de cas. La première partie de la thèse présente une évaluation des principaux algorithmes d’apprentissage incrémental utilisés pour l’estimation des paramètres des MMCs. L’objectif de cette étude est de dégager les stratégies d’apprentissage incrémental dont la performance en généralisation se rapproche de cette obtenue avec un apprentissage hors-ligne (batch). Les résultats obtenus sur le problème de la reconnaissance de chiffres et de lettres manuscrits montrent la supériorité des approches basées sur les ensembles de modèles. De plus, nous avons montré l’importance de conserver dans une mémoire à court terme des exemples utilisés en validation, ce qui permet d’obtenir un niveau de performance qui peut même dépasser celui obtenu en mode batch. La deuxième partie de cette thèse est consacrée à la formulation d’une nouvelle approche pour la sélection dynamique des ensembles de classifieurs. Inspiré du concept de fusion appelé « organisation multi-niveau » (multistage organizations), nous avons formulé une variante de ce concept appelé DMO (dynamic multistage organization - DMO) qui permet d’adapter la fonction de fusion dynamiquement pour chaque exemple de test à classer. De plus, le concept DMO a été intégré à la méthode DSA proposée par Dos Santos et al pour la sélection dynamique d’ensembles de classifieurs. Ainsi, deux nouvelles variantes, DSAm et DSAc, ont été proposées et évaluées. Dans le premier cas (DSAm), plusieurs fonctions de sélection permettent une généralisation de la structure DMO. Pour ce qui est de la variante DSAc, nous utilisons l’information contextuelle (représentée par les profils de décisions des classifieurs de base) acquise par le système et qui est associée à la base de validation conservée dans une mémoire à court terme. L’évaluation des deux approches sur des bases de données de petite et de grande échelle ont montré que la méthode DSAc domine DSAm sur la plupart des cas étudiés. Ce résultat montre que l’utilisation d’informations contextuelles permet une meilleure performance en généralisation comparées aux méthodes non informées. Une propriété importante de l’approche DSAc est qu’elle peut également servir pour apprendre de nouvelles données dans le temps, une propriété très importante pour la conception de systèmes de reconnaissance adaptatifs dans les environnements dynamiques caractérisés par un niveau important d’incertitude sur le problème à résoudre. Finalement, un nouveau framework appelé LoGID (Local and Global Incremental Learning for Dynamic Selection) est proposé pour la conception d’un système de reconnaissance adaptatif basé sur les MMC, et capable de s’adapter dans le temps durant les phases d’apprentissage de généralisation. Le système est composé d’un pool de classifieurs de base et l’adaptation durant la phase de généralisation est effectuée par la sélection dynamique des membres du pool les plus compétents pour classer chaque exemple de test. Le mécanisme de sélection dynamique est basé sur l’algorithme des K plus proches vecteurs de décision, tandis que l’adaptation durant la phase d’apprentissage consiste à la mise à jour et à l’ajout de classifieurs de base dans le système. Durant la phase d’apprentissage, deux stratégies sont proposées pour apprendre incrémentalement sur des nouvelles données: l’apprentissage local et l’apprentissage global. L’apprentissage incrémentale local implique la mise à jour du pool de classifieurs de base en ajoutant des nouveaux membres à cet ensemble. Les nouveaux membres sont générés avec l’algorithme Learn++. L’apprentissage incrémental global consiste à la mise à jour de la base de connaissances composée des vecteurs de décisions qui seront utilisés en généralisation pour la sélection dynamique des membres les plus compétents. Le système LoGID a été validé sur plusieurs bases de données et les résultats comparés à ceux publiés dans la littérature. En général, la méthode proposée domine les autres méthodes incluant les méthodes d’apprentissage hors-ligne. Enfin, le système LoGID évalué en mode adaptatif montre qu’il est en mesure d’apprendre de nouvelles connaissances dans le temps au moment où les nouvelles données sont disponibles. Cette faculté d’adaptation est très importante également lorsque les données disponibles pour l’apprentissage sont peu nombreuses.