AF

Descrição

Plano

Relatórios

Equipa

Bibliografia

Controlo de acessos

utilizando vídeo

Tese

Descrição:

 

No século XXI os cuidados com a segurança dos cidadãos têm aumentado significativamente, tendo levado a um desenvolvimento das tecnologias relacionadas com a visão computacional. O desenvolvimento imaturo de grande parte de técnicas existentes e os problemas encontrados nos cenários tem dificultado a integração da visão computacional.

 

Esta dissertação pretende encontrar soluções para problemas presentes no controlo de acessos. Sendo os principais eventos a quantificação do fluxo de pessoas que atravessam um acesso, determinar se transportam algum objeto indevido ou simplesmente se existem pessoas a circular em áreas onde não deveriam. Alguns dos eventos possíveis de serem analisados são a deteção do transporte de mochilas dentro de áreas onde tal é proibido e a deteção de rapto de recém nascido em hospitais através da utilização de imagens térmicas. Para tal é necessária a aquisição de sequências, através da montagem de câmaras e sensores em posicionamentos estratégicos. A estas sequências serão depois aplicados algoritmos de segmentação e de deteção de objetos. A informação obtida será analisada pelo sistema criado de forma a se cumprir os objetivos da aplicação pretendida.

 

Este sistema que se pretende criar analisará varias informações como dados térmicos, vídeos estéreo, dados de kinect, vídeos RGB, proporcionando uma "framework" de eventos modular em que apresente flexibilidade a nível de ampliação de deteção e analise de outros eventos.

 

Motivação:

 

A motivação para abordar este tema deve-se relativamente ao aumento do interesse das instituições empresárias e governamentais fazendo assim com que solucione-se problemas reais do quotidiana do cidadão. Outro motivo foi que grande parte das técnicas existentes na área apresentam um desenvolvimento imaturo na deteção de eventos com interesse bastante relevante.

 

Objetivos:

 

O principal objetivo desta dissertação é a deteção de pessoas e a analise de eventos . Os eventos a analisar e a realizar consistirão no fluxo da passagem de pessoas por um ponto de controlo, na realização de perfil de alturas, na deteção do transporte de objetos indevidos, na determinação de diferenças de temperatura dos objetos transportados e na deteção da passagem indevida de certos indivíduos, como por exemplo, na passagem de duas pessoas pelas barreiras existentes à entrada do metro, com apenas um cartão validado.

 

O objetivo será realizado a partir do planeamento da escolha e da colocação dos diferentes tipos de câmaras ou sensores, conseguindo assim uma boa fonte de dados para posteriormente realizar o processamento de vídeo. A partir desta fonte de dados pretende-se realizar uma interpretação e analise concreta para a aplicação pretendida. Este tipo de sistemas é construido através de módulos sendo que se pode realizar a extensão do sistemas adicionando novos módulos assim aumentado as funcionalidades do sistema. Um exemplo é a adição de câmaras térmicas para a obtenção de novo tipo de dados, fazendo assim com que o sistema com a analise desses novos dados consiga identificar novos eventos.

 

Plano de Trabalho

O plano de trabalho é constituído por varias etapas sendo que a primeira consiste na definição dos eventos que se pretende analisar. Conforme os eventos escolhidos será proposto um "layout" para a montagem das câmaras de vídeo e sensores. Estando a montagem do equipamento preparada será realizada a gravação das sequências com os eventos. Posteriormente será realizado a escolha dos algoritmos que melhor se enquadram nos cenários capturados, sendo previsto a utilização do SILTP + PKDE para a realização da segmentação e para a deteção e classificação utilizar-se-á HOG. Grande parte do tempo será dedicado à interligação e analise dos dados para a criação da framework que identifica os eventos.   Para realizar a classificação da qualidade da solução apresentada será necessário identificar métricas para avaliar quantitativamente e qualitativamente os resultados. A performance do sistema também será avaliada.

Nas primeiras 3 semanas será realizado um aprofundamento do estado da arte para abranger áreas como medição de temperatura através de imagens térmicas e medição de profundidade através de vídeo estéreo.

 

A escrita da dissertação será um processo contínuo e paralelo em relação as restantes tarefas, sendo que no ultimo mês será dedicado exclusivamente à escrita da mesma.

 

 

 

Relatórios Semanais

  • 16 de Fevereiro - 22 de Fevereiro

    Trabalho feito: Continuação da revisão bibliográfica.

     

    Nota: Devido à unidade curricular  SETEC não foi possível conseguir avançar com o trabalho que era pretendido para esta semana.

  • 23 de Fevereiro - 1 de Março

    Trabalho feito:  Continuação da revisão bibliográfica.  Recolha do material necessário para a realização das filmagens das sequências e habituação ao mesmo.

     

    Nota: Devido à unidade curricular  SETEC não foi possível conseguir avançar com o trabalho que era pretendido para esta semana.

     

    Ata da reunião: 26 de Fevereiro

    Discussão do plano de trabalho das próximas semanas. Tendo sido decidido começar por configurar e preparar todos os componentes necessários para a utilização das câmaras.

     

  • 2 de Março - 8 de Março

    Trabalho feito:  Definição do guião das sequências a filmar. Aprender a configurar e utilizar a câmara RGB-LAN.  Utilizando o VLC para a gravação.

     

    Concluído: Configuração e definição da câmara RGB.

  • 9 de Março - 15 de Março

    Trabalho feito: Continuação com a  procura de uma definição do guião das sequências a filmar. Aprender a configurar e utilizar a câmara  stereo. Utilizando um código em C++ para a realização da gravação.

     

    Concluído: Configuração e utilização da câmara stereo. Definir o guião para as sequências.

     

    Ata da reunião: 13 de Março

    Apresentar o trabalho realizado durante as semanas anteriores. Debate sobre as sequências a serem filmadas.

  • 16 de Março - 22 de Março

    Trabalho feito: Aprender a configurar e utilizar a câmara  térmica (FLIR) e o encoder necessário para conseguir um frame rate fixo.  Para as configurações foram utilizados vários programas da FLIR como IP-CONFIG e Tools. Os dados de vídeo que saem do encoder são visualizados e guardados utilizando o VLC.

     

    Dificuldades: Não conseguir por os parâmetros da escala de temperatura fixos. Erro existente quando se tenta realizar a gravação.

  • 23 de Março - 29 de Março

    Trabalho feito: Resolver as dificuldades da semana anterior com ajuda do orientador e através de pesquisa. Utilização do FLIR Monitor para configurar os parâmetros da escala de temperatura. E a utilização do VLC, através da linha de comandos, para a resolução do problema de gravação.

    Aprender a utilizar e captar os dados da câmara Kinect. Decidir qual os SDK a utilizar.

     

    Dificuldades: Escolha dos SDK mais adequadas a utilizar, e conseguir capturar imagens de profundidade e imagens RGB que estejam sincronizadas. O problema de sincronização ocorre devido a que a própria câmara realiza capturas em instantes distintos.

     

    Concluído: Configuração e utilização da câmara térmica.

     

    Ata da reunião: 27 de Março

    Apresentação do trabalho realizado durante as 2 semanas anteriores. Esclarecimento de duvida em relação ao funcionamento da câmara térmica.

  • 30 de Março - 5 de Abril

    Trabalho feito: Resolver as dificuldades da semana anterior através de pesquisa. A gravação dos dados da Kinect será realizada com a utilização de um programa em C++, que resolveu o problema da sincronização das imagens através do simples algoritmo que é a gravação das imagens só quando existe imagem de profundidade e RGB simultaneamente. Isto causa um pequeno decréscimo da frame rate sendo este por volta das 27 frames/segundo.

    Experimentar a utilização de todas as câmaras em simultâneo.

     

    Concluído: Configuração e utilização da câmara Kinect.

  • 6 de Abril - 12 de Abril

    Trabalho feito: Continuação da utilização de todas as câmaras em simultâneo. Para tal efeito utilizou-se um switcher para aceder as câmaras RGB e térmica. A câmara Kinect utiliza um entrada USB. Definir o local das filmagens e o esquemático da posição das câmaras no respectivo local.

    Tendo sido a câmara stereo descartada do esquemático pois a informação que se conseguiria obter não acrescentaria informação útil para os eventos que se pretendiam identificar.

     

    Concluído: Utilização de todas as câmaras em simultâneo. Local e o esquema das câmaras definido.

     

    Ata da reunião: 10 de Abril

    Indicação em que ponto está o progresso do trabalho. Apresentação do esquemático de montagem que será utilizado e alterações sugeridas para o melhor funcionamento de tal.

     

  • 13 de Abril - 19 de Abril

    Trabalho feito: Montagem e desmontagem de todo o equipamento para a realização das filmagens. Realização das gravações dos vídeos para as sequências definidas até a este momento. Edição dos vídeos de forma a haver sincronização dos vídeos das 3 câmaras utilizadas.

     

    Concluído: Gravação e edição das sequências.

     

    Ata da reunião: 17 de Abril

    Indicação das sequências que já foram gravadas,  e discussão sobre quais mais sequências sereia necessário gravar. Tendo sido acrescentadas 4 novas sequências para se gravar.

  • 20 de Abril - 26 de Abril

    Trabalho feito: Definir um guião para as novas sequências que foram definidas durante a reunião da semana anterior.

    Montagem e desmontagem de todo o equipamento para a realização das filmagens. Realização das gravações dos vídeos para as sequências definidas até a este momento. Edição dos vídeos de forma a haver sincronização dos vídeos das 3 câmaras utilizadas.

    Escrita do capítulo que explica o funcionamento das câmaras, explicar o esquemático do posicionamento das câmaras no local, caracterização das sequências.

     

    Concluído: Definir o guião. A gravação e edição das sequências. Novo capítulo da dissertação.

     

    Ata da reunião: 24 de Abril

    Apresentação dos vídeos finais das sequências e das caracterizações de cada sequência. Feedback dos orientadores em relação a esses dois tópicos.

  • 27 de Abril - 3 de Maio

    Trabalho feito: Definir o formato que os dados do "ground truth" das sequências vão ter num ficheiro XML.

    Realizar um código em C++ para a realizar a anotação manual do "ground truth" para cada sequência.

     

    Dificuldades: Escolha de como será interpretado um evento e uma pessoa perante o "ground truth".

    Algumas dificuldades na realização do código, maioritariamente em como fazer a interface para a aplicação de "tags" nas frames das sequências.

     

    Concluído: Definir o formato que o "ground truth" das sequências têm.

     

    Ata da reunião: 30 de Abril

    Nesta reunião discutiu-se sobre como o "ground truth" deveria ser definido. Tendo sido uma estrutura de duas entidades separadas uma para os eventos outra para os objetos. Determinação do plano de trabalhos para um futuro próximo, tendo sido definido os trabalhos de conclusão do código em C++ de criação do XML do "ground truth", gerar manualmente o "ground truth" utilizando o programa anteriormente criado, realizar código que compare o "ground truth" com as saídas de algoritmos segundo métricas definidas.

     

Equipa

Orientador da FEUP

Orientador do INESC

Luís  Corte-Real

Pedro Carvalho

E-mail: pedro.carvalhoinescporto.pt

Bibliografia

Lista bibliográfica

©2015 Álvaro Ferreira - FACULDADE DE ENGENHARIA DA UNIVERSIDADE DO PORTO