A video descriptor using orientation tensors and shape-based trajectory clustering

• Main Author: Caetano, Felipe Andrade
• Other Authors: Silva, Rodrigo Luis de Souza da
• Language: Portuguese
• Published: Universidade Federal de Juiz de Fora (UFJF) 2017
• Subjects: CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO; Trajetórias densas; Reconhecimento de ações humanas em vídeos; Autodescritor; Tensor de orientação; Dense trajectories; Human action recognition in videos; Self-descriptor; Orientation tensor; Clustering
• Online Access: https://repositorio.ufjf.br/jspui/handle/ufjf/4833

Submitted by Renata Lopes ([e-mail]) on 2017-06-06T17:54:07Z No. of bitstreams: 1 felipeandradecaetano.pdf: 7461489 bytes, checksum: 93cea870d7bf162be4786d1d6ffb2ec9 (MD5) === Approved for entry into archive by Adriana Oliveira ([e-mail]) on 2017-06-07T11:06:08Z (GMT) No. of bitstreams: 1 felipeandradecaetano.pdf: 7461489 bytes, checksum: 93cea870d7bf162be4786d1d6ffb2ec9 (MD5) === Made available in DSpace on 2017-06-07T11:06:08Z (GMT). No. of bitstreams: 1 felipeandradecaetano.pdf: 7461489 bytes, checksum: 93cea870d7bf162be4786d1d6ffb2ec9 (MD5) Previous issue date: 2014-08-29 === Trajetórias densas têm se mostrado um método extremamente promissor na área de reconhecimento de ações humanas. Baseado nisso, propomos um novo tipo de descritor de vídeos, calculado a partir da relação do fluxo ótico que compõe a trajetória com o gradiente de sua vizinhança e sua localidade espaço-temporal. Tensores de orientação são usados para acumular informação relevante ao longo do vídeo, representando tendências de direção do descritor para aquele tipo de movimento. Além disso, um método para aglomerar trajetórias usando o seu formato como métrica é proposto. Isso permite acu- mular características de movimentos distintos em tensores separados e diferenciar com maior facilidade trajetórias que são criadas por movimentos reais das que são geradas a partir do movimento de câmera. O método proposto foi capaz de atingir os melhores níveis de reconhecimento conhecidos para métodos com a restrição de métodos autodescritores em bases populares — Hollywood2 (Acima de 46%) e KTH (Acima de 94%). === Dense trajectories has been shown as a very promising method in the human action recognition area. Based on that, we propose a new kind of video descriptor, calculated from the relationship between the trajectory’s optical flow with the gradient field in its neighborhood and its spatio-temporal location. Orientation tensors are used to accumulate relevant information over the video, representing the tendency of direction for that kind of movement. Furthermore, a method to cluster trajectories using their shape is proposed. This allow us to accumulate different motion patterns in different tensors and easier distinguish trajectories that are created by real movements from the trajectories generated by the camera’s movement. The proposed method is capable to achieve the best known recognition rates for methods based on the self-descriptor constraint in popular datasets — Hollywood2 (up to 46%) and KTH (up to 94%).