Algoritmos online baseados em vetores suporte para regressão clássica e ortogonal

• Main Author: Souza, Roberto Carlos Soares Nalon Pereira
• Other Authors: Fonseca Neto, Raul
• Language: Portuguese
• Published: Universidade Federal de Juiz de Fora (UFJF) 2017
• Subjects: CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO; Regressão ortogonal; Métodos Kernel; Algoritmos online; Máquinas de vetores suporte; Orthogonal Regression; Kernel Methods; Online Algorithms; Support Vector Machines
• Online Access: https://repositorio.ufjf.br/jspui/handle/ufjf/4789

Submitted by Renata Lopes ([e-mail]) on 2017-05-30T20:07:56Z No. of bitstreams: 1 robertocarlossoaresnalonpereirasouza.pdf: 1346845 bytes, checksum: e248f967f42f4ef763b613dc39ed0649 (MD5) === Approved for entry into archive by Adriana Oliveira ([e-mail]) on 2017-06-01T11:51:04Z (GMT) No. of bitstreams: 1 robertocarlossoaresnalonpereirasouza.pdf: 1346845 bytes, checksum: e248f967f42f4ef763b613dc39ed0649 (MD5) === Made available in DSpace on 2017-06-01T11:51:04Z (GMT). No. of bitstreams: 1 robertocarlossoaresnalonpereirasouza.pdf: 1346845 bytes, checksum: e248f967f42f4ef763b613dc39ed0649 (MD5) Previous issue date: 2013-02-21 === CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior === Neste trabalho apresenta-se uma nova formulação para regressão ortogonal. O problema é definido como a minimização do risco empírico em relação a uma função de perda com tubo desenvolvida para regressão ortogonal, chamada ρ-insensível. Um algoritmo para resolver esse problema é proposto, baseado na abordagem da descida do gradiente estocástica. Quando formulado em variáveis duais o método permite a introdução de funções kernel e flexibilidade do tubo. Até onde se sabe, este é o primeiro método que permite a introdução de kernels, através do chamado “kernel-trick”, para regressão ortogonal. Apresenta-se ainda um algoritmo para regressão clássica que usa a função de perda ε-insensível e segue também a abordagem da descida do gradiente. Para esse algo ritmo apresenta-se uma prova de convergência que garante um número finito de correções. Finalmente, introduz-se uma estratégia incremental que pode ser usada acoplada com ambos os algoritmos para obter soluções esparsas e também uma aproximação para o “tubo mínimo”que contém os dados. Experimentos numéricos são apresentados e os resultados comparados a outros métodos da literatura. === In this work, we introduce a new formulation for orthogonal regression. The problem is defined as minimization of the empirical risk with respect to a tube loss function de veloped for orthogonal regression, named ρ-insensitive. The method is constructed via an stochastic gradient descent approach. The algorithm can be used in primal or in dual variables. The latter formulation allows the introduction of kernels and soft margins. To the best of our knowledge, this is the first method that allows the introduction of kernels via the so-called “kernel-trick” for orthogonal regression. Also, we present an algorithm to solve the classical regression problem using the ε-insensitive loss function. A conver gence proof that guarantees a finite number of updates is presented for this algorithm. In addition, an incremental strategy algorithm is introduced, which can be used to find sparse solutions and also an approximation to the “minimal tube” containing the data. Numerical experiments are shown and the results compared with other methods.