Méthode de comparaison statistique des performances d'algorithmes évolutionnaires

• Main Author: Barrette, Mathieu
• Format: Others
• Published: École de technologie supérieure 2008
• Online Access: http://espace.etsmtl.ca/156/1/BARRETTE_Mathieu.pdf; http://espace.etsmtl.ca/156/4/BARRETTE_Mathieu%2Dweb.pdf

Il existe un nombre impressionnant de métaheuristiques pour l'optimisation globale. Les performances de ces algorithmes varient énormément, et comme le stipule le No Free Lunch Theorem, elles sont intimement liées à la structure du problème à optimiser et au paramétrage de l'algorithme. Le choix d'une métaheuristique et de son paramétrage pour un problème donné est une tâche complexe qui nécessite une bonne connaissance des algorithmes et du problème à optimiser. Une compréhension approfondie des comportements des métaheuristiques, de leur performance et de leur spécificité (le No Free Lunch Theorem) constitue une première étape vers une meilleure utilisation de celles-ci. Toutefois, étant des processus stochastiques itératifs, l'évaluation des performances de ces algorithmes requiert l'utilisation d'outils statistiques appropriés. Il n'existe actuellement aucune méthodologie universelle de comparaison des performances des métaheuristiques. Nous proposons donc ici une méthodologie générique statistiquement rigoureuse de comparaison relative des performances avec un risque d'erreur contrôlé. La méthodologie proposée est non paramétrique et utilise le rang des observations pour évaluer leurs différences. L'utilisation du rang permet ici à la fois de faire une étude non paramétrique mais permet aussi de consolider sous un seul indice de qualité, sans ajout de pondérations, les trois mesures de performance généralement observées, soit le nombre d'itérations moyen requis pour l'atteinte de l'optimum global, le niveau d'optimisation moyen et finalement, le taux d'atteinte de l'optimum global. Nous proposons également une étude complète pour une plage de paramétrage temporel choisi. Contrairement aux comparaisons habituelles d'un seul paramétrage temporel, cette façon de faire reflète beaucoup mieux le comportement temporel global des métaheuristiques et rend l'étude beaucoup plus complète.