Video motion description based on histograms of sparse trajectories

• Main Author: Oliveira, Fábio Luiz Marinho de
• Other Authors: Vieira, Marcelo Bernardes
• Language: Portuguese
• Published: Universidade Federal de Juiz de Fora (UFJF) 2017
• Subjects: CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO; Trajetórias esparsas; Descrição de movimento; Reconhecimento de ações humanas em vídeos; Aprendizado de métrica; Histograma; Descritor tensorial; Sparse trajectories; Motion description; Video human action recognition; Metric learning; Histogram; Tensor descriptor
• Online Access: https://repositorio.ufjf.br/jspui/handle/ufjf/4838

Submitted by Renata Lopes ([e-mail]) on 2017-06-06T19:12:19Z No. of bitstreams: 1 fabioluizmarinhodeoliveira.pdf: 1410854 bytes, checksum: cb71ee666cda7d462ce0dd33963a988c (MD5) === Approved for entry into archive by Adriana Oliveira ([e-mail]) on 2017-06-07T13:33:08Z (GMT) No. of bitstreams: 1 fabioluizmarinhodeoliveira.pdf: 1410854 bytes, checksum: cb71ee666cda7d462ce0dd33963a988c (MD5) === Made available in DSpace on 2017-06-07T13:33:08Z (GMT). No. of bitstreams: 1 fabioluizmarinhodeoliveira.pdf: 1410854 bytes, checksum: cb71ee666cda7d462ce0dd33963a988c (MD5) Previous issue date: 2016-09-05 === Descrição de movimento tem sido um tema desafiador e popular há muitos anos em visão computacional e processamento de sinais, mas também intimamente relacionado a aprendizado de máquina e reconhecimento de padrões. Frequentemente, para realizar essa tarefa, informação de movimento é extraída e codificada em um descritor. Este trabalho apresenta um método simples e de rápida computação para extrair essa informação e codificá-la em descritores baseados em histogramas de deslocamentos relativos. Nossos descritores são compactos, globais, que agregam informação de quadros inteiros, e o que chamamos de auto-descritor, que não depende de informações de sequências senão aquela que pretendemos descrever. Para validar estes descritores e compará-los com outros tra balhos, os utilizamos no contexto de Reconhecimento de Ações Humanas, no qual cenas são classificadas de acordo com as ações nelas exibidas. Nessa validação, obtemos resul tados comparáveis aos do estado-da-arte para a base de dados KTH. Também avaliamos nosso método utilizando as bases UCF11 e Hollywood2, com menores taxas de reconhe cimento, considerando suas maiores complexidades. Nossa abordagem é promissora, pelas razoáveis taxas de reconhecimento obtidas com um método muito menos complexo que os do estado-da-arte, em termos de velocidade de computação e compacidade dos descritores obtidos. Adicionalmente, experimentamos com o uso de Aprendizado de Métrica para a classificação de nossos descritores, com o intuito de melhorar a separabilidade e a com pacidade dos descritores. Os resultados com Aprendizado de Métrica apresentam taxas de reconhecimento inferiores, mas grande melhoria na compacidade dos descritores. === Motion description has been a challenging and popular theme over many years within computer vision and signal processing, but also very closely related to machine learn ing and pattern recognition. Very frequently, to address this task, one extracts motion information from image sequences and encodes this information into a descriptor. This work presents a simple and fast computing method to extract this information and en code it into descriptors based on histograms of relative displacements. Our descriptors are compact, global, meaning it aggregates information from whole frames, and what we call self-descriptors, meaning they do not depend on information from sequences other than the one we want to describe. To validate these descriptors and compare them to other works, we use them in the context of Human Action Recognition, where scenes are classified according to the action portrayed. In this validation, we achieve results that are comparable to those in the state-of-the-art for the KTH dataset. We also evaluate our method on the UCF11 and Hollywood2 datasets, with lower recognition rates, considering their higher complexity. Our approach is a promising one, due to the fairly good recogni tion rates we obtain with a much less complex method than those of the state-of-the-art, in terms of speed of computation and final descriptor compactness. Additionally, we ex periment with the use of Metric Learning in the classification of our descriptors, aiming to improve the separability and compactness of the descriptors. Our results for Metric Learning show inferior recognition rates, but great improvement for the compactness of the descriptors.