Dynamic optimization of classification systems for adaptive incremental learning

• Main Author: Kapp, Marcelo Nepomoceno
• Format: Others
• Published: École de technologie supérieure 2010
• Online Access: http://espace.etsmtl.ca/270/1/KAPP_Marcelo_Nepomoceno.pdf; http://espace.etsmtl.ca/270/2/KAPP_Marcelo_Nepomoceno%2Dweb.pdf

Lors de I'arrivée de nouvelles données, un systeme d'apprentissage incremental se met a jour automatiquement sans reexaminer les anciennes donnees. Lors d'un apprentissage incremental, les parametres des systemes de classification ne sont plus consideres comme invariants puisqu'ils peuvent evolucr en fonction des donnees entrantes. Ces changemcnts causent dcs variations dans I'ajustement des parametres du systeme de classification. Si ces variations sont negligees, la performance finale d'un tel systeme pent etre ulterieurement compromise. De tcls systemes, adaptes au probleme de classification, sont tres utiles a des fins industrielles ou militaires car ceux-ci sont a la fois rapides d'execution et peu gourmands en memoire. On observe en consequence un interet grandissant a I'elaboration de tels systemes. L'objectif principal de cette these est de developper un systeme capable de s'adapter de fa^on incrementale a I'arrivee de nouvelles donnees, de suivrc et d'analyscr dynamiqucment les parametres du systeme optimal pour ainsi pcrmcttrc son adaptation automatique a de nouvelles situations. Pour ce faire, nous commen9ons par aborder le probleme de la selection optimale des classificateurs en fonction du temps. Nous proposons une architecture qui combine la puissance de la theorie de I'intelligence des essaims avec la methode plus conventionnelle de recherche par grilles. Des solutions potentielles sont progressivement identifices et mises en evidence pour des bases de donnees graduellement mises a jour. L'idee principale ici est de considerer I'ajustement des parametres du classificateur comme un probleme d'optimisation dynamique dependant des donnees presentees au systeme de maniere continue. En particulier, nous avons montre que si I'on cherchait a elaborer un classificateur SVM (Support Vector Machines) efficace a partir de sources de donnees differentes, graduelles ou en series, mieux valait considerer le processus de selection de modeles comme un processus dynamique qui pent evoluer et changer Ainsi, les differentes solutions sont adaptees au fil du temps en fonction revolution des connaissances accessibles sur le probleme de classifications et de I'incertitude sur les donnees. Ensuite, nous etudions aussi des mesures pour revaluation et la selection d'ensembles de classificateurs composes de SVMs. Les mesures employees sont basees sur les theories de la diversite et la marge communement utilisees pour expliquer la performance des ensembles de classificateurs. Cette etude revele des informations precieuses pour I'elaboration de mesures de confiance pouvant servir pour la selection des ensembles de classificateurs. Finalement, la contribution majeure de cette these est une approche d'optimisation dynamique qui realise un apprentissage incremental et adaptatif en suivant, faisant evoluer et corabinant V les hypotheses d'optima en fonction du temps. L'approche fait usage de concepts issus de differentes theories experimentales, telles quti I'optiraisation dynamique de particules d'essaims, les classificateurs SVM incrementaux, la detection de changement et la selection dynamique d'ensembles a partir de niveaux de confiance des classificateurs. Des experiences menees sur des bases de donnees synthetiques et reelles montrent que I'approche proposee surpasse les autres methodes de classification souvent utilisees dans des scenarios d'apprentissage incremental.