Reconhecimento de Padrões 

na 

LEEC

Reconhecimento de Padrões: Programa

1 Basic Notions

1.1 Object Recognition
1.2 Pattern Similarity and PR Tasks

    1.2.1 Pattern Classification

    1.2.2 Pattern Regression

    1.2.3 Pattern Description
1.3 Classes, Patterns and Features

1.4 PR Approaches
    1.4.1 Data Clustering
    1.4.2 Statistical Classification

    1.4.3 Neural Networks

    1.4.4 Syntactic PR

1.5 PR Project
    1.5.1 Project Tasks
    1.5.2 Training and Testing

    1.5.3 PR Software

2 Pattern Discrimination

2.1 Decision Regions and Functions
    2. 1.1 Generalized Decision Functions

    2.1.2 Hyperplane Separability
2.2 Feature Space Metrics
2.3 The Covariance Matrix

2.4 Principal Components

2.5 Feature Assessment
    2.5.1 Graphic Inspection
    2.5.2 Distribution Model Assessment

    2.5.3 Statistical Inference Tests
2.6 The Dimensionality Ratio Problem

3 Data Clustering
    

3.1 Unsupervised Classification

3.2 The Standardization Issue

3.3 Tree Clustering
        3.3.1 Linkage Rules
        3.3.2 Tree Clustering Experiments

3.4 Feature Extraction
3.5 K-Means Clustering

4 Statistical Classification

4.1 Linear Discriminants
    4.1.1 Minimum Distance Classifier
    4.1.2 Euclidian Linear Discriminants
    4.1.3 Mahatanobis Linear Discriminants

    4.1.4 Fisher's Linear Discriminant

4.2 Bayesian classification
    4.2.1 Bayes Rule for Minimum Risk

    4.2.2 Normal Bayesian classification

    4.2.3 Rejection Region
    4.2.4 Dimensionality Ratio and Error Estimates

4.3 Model-free techniques
    4.3.1 The Parzen window method
    4.3.2 The K-nearest neighbours method

    4.3.3 The ROC curve

4.4 Feature Selection
4.5 Classifier Evaluation

4.6 Decision Trees
4.7 Statistical classification in data mining

5 Neural Nets

5 1 LMS Adjustment of Discriminants

5.2 Activation Functions
5.3 The Perceptron Concept

5.4 Neural Network Types
5.5 Multi-Layer Perceptrons
    5.5.1 The Back Propagation Algorithm

    5.5.2 Practical Aspects5.5.3 Time Series
5.6 Performance of Neural Nets

    5.6.1 Error Measures
    5.6.2 The Hessian Matrix
    5.6.3 The Bias-Variance Dilemma

    5.6.4 Network Complexity

5.7 Approximation Methods
    5.7.1 The Conjugate-Gradient Method
    5.7.2 The Levenberg-Marquardt Method5.8 Genetic Algorithms
5.9 Radial Basis Functions
5.10 Support Vector Machines

5.11 Kohonen Networks
5.12 Modular Neural Networks

5.13 Neural nets in Data Mining

6 Syntactic Pattern Recognition

6.1 Pattern Primitives
6.2 Structural Representations

6.3 Syntactic PR
    6.3.1 String grammars

    6.3.2 Grammar types
    6.3.3 Finite-state automata

    6.3.4 Attributed grammars

    6.3.5 Stochastic grammars

    6.3.6 Grammar inference
6.4 Structural Matching
    6.4.1 String matching
    6.4.2 Relaxation matching

Bibliografia

Christopher M. Bishop, Neural Networks for Pattern Recognition, Clarendon Press, 1997.

John A. Hartigan, Clustering Algorithms, J. Wiley & Sons, 1975.

Keinosuke Fukunaga Introduction to Statistical Pattern Recognition, Academic Press 1990.

K.S. Fu (editor), Sintactic Pattern Recognition, Springer Verlag, 1977.

Robert Schalkoff, Pattern Recognition, Wiley, 1992.

R.O Duda, P.E. Hart, Pattern Classification and Scene Analysis, J. Wiley & Sons, 1973.

Simon Haykin, Neural Networks: A Comprehensive Foundation, Prentice Hall, 1999.

Reconhecimento de Padrões: Avaliação

A avaliação é feita com base num trabalho prático (individual ou em grupo):

Temas para Trabalhos individuais:

Ensaios de aglomeração, classificação estatística e classificação com redes neuronais de dados adequados do site:

http://www.ics.uci.edu/~mlearn/MLSummary.html

Temas para Trabalhos em grupo:

1 – Implementação em Matlab do algoritmo aprendizagem NN de minimização de entropia. Comparação do seu desempenho em dados simulados e reais. (2 alunos)

2 – Introdução de melhorias no programa SC Size (Visual Basic) por forma a determinar o erro teórico e a evolução do erro de treino e teste de classificadores estatísticos para distribuições normais multivariadas. (2 alunos)

3 – Estudo e ensaio de Fuzzy NN. Aplicação à classificação de formas de onda. (2 alunos)

4 – Idem, para reconhecimento de caracteres manuscritos. (2 ou 3 alunos)

5 – Reconhecimento de faces por métodos estatísticos ou NN. (2 ou 3 alunos)

6 – Reconstrução de sinais usando redes neuronais. (2 alunos)

7 – Desenvolvimento em Matlab de um programa de classificação de padrões usando redes modulares e cooperativas. Ensaio com dados reais. Criação de uma rotina para desenhar superfícies de decisão. (3 alunos)

8 – Filtragem de sinais usando filtros neuronais  (2 alunos).

9 – Ajuste sintáctico de figuras bidimensionais  (2 alunos).

10 – Ajuste por relaxação de figuras bidimensionais (2 alunos).

Formato do Relatório (~< 20 A4; DK c/ dados):

A. Classificação Estatística

1.    Descrição dos Dados (citando a fonte)

2.    Objectivo do Trabalho (citando ferramentas utilizadas/desenvolvidas)

3.    Estudo das Características

4.    Ensaios de Aglomeração

5.    Ensaios de Classificação Estatística (estudo dos erros)

6.    Conclusões

B. Redes Neuronais

1.    Descrição dos Dados (citando a fonte)

2.    Objectivo do Trabalho (citando ferramentas utilizadas/desenvolvidas)

3.    Estudo das Características

4.    Ensaios de Classificação/Regressão (mais do que um método; VC)

5.    Conclusões

C. Reconhecimento Estrutural

1.    Descrição dos Dados (citando a fonte)

2.    Objectivo do Trabalho (citando ferramentas utilizadas/desenvolvidas)

3.    Determinação de Primitivas

4.    Ensaios de Reconhecimento Estrutural

5.    Conclusões

Reconhecimento de Padrões: Opiniões

Opiniões de alunos da LEEC que frequentaram a disciplina.

José Luís Calisto Marques, 1999:

Estou bastante satisfeito por me ter inscrito na disciplina RecP. Penso que a cadeira é de grande interesse não só pedagógico como também prático, com grande aplicabilidade em qualquer curso da área das engenharias. Nesta disciplina, aprendi algo não só interessante como também com grande  utilidade em futuros projectos em que venha a estar envolvido.

Embora todas as matérias tenham bastante importância, pessoalmente gos taria que a última matéria (redes neuronais) tivesse sido um pouco mais explorada, uma vez que foi sem dúvida a que me despertou maior inte resse. Espero que no futuro a cadeira se mantenha no plano de estudos, no mínimo como cadeira optativa. É uma cadeira que francamente recomendo, pois parece-me que valoriza em muito este curso.

André M. Silva, 1999:

Penso que as aulas teóricas correram bem e foram leccionadas da melhor maneira, concisas e claras, e os apontamentos são de boa qualidade. Nas aulas práticas é que houve falta de organização por parte dos alunos, visto que o primeiro trabalho praticamente ocupou o semestre inteiro. Por isso acho que deveriam ser estipulados objectivos em cada aula prática, para servir como orientação e guião para os alunos, pois no futuro será mesmo necessário para o caso de haver turmas maiores.

De resto acho o programa da cadeira muito interessante e adequado ao curso, e o método de avaliação também é o mais correcto na minha opinião.

Nuno Ferreira, 1999:

Achei que as aulas teóricas da cadeira foram bem estruturadas, embora seja a minha opinião que deveríamos ter aprofundado mais o conhecimento de redes neuronais, estudando outros tipos de redes. As aulas práticas foram muito interessantes pois permitiram-nos experimentar na prática muitos dos assuntos tratados nas aulas teóricas. Quanto ao método de avaliação, penso que é o melhor possível, tendo havido este semestre um problema de falta de tempo, devido a grande carga de trabalhos e mini-testes, não permitindo realizar os trabalhos a tempo da primeira entrega, ficando nós assim sem possibilidade de realizar a subida de nota, se necessário. O programa da cadeira é interessante.

Nuno Afonso, 1999:

Apreciei bastante as matérias abordadas. Já possuía alguns conhecimentos sobre o assunto e gostei de poder explorá-los. Achei lógica a sequência de exposição das matérias e foi bastante fácil acompanhar as aulas através dos apontamentos. As duas aulas teóricas de 1h30 por semana penso serem suficientes para abordar toda a matéria a um ritmo "saudável". Sempre que solicitado o Sr. Prof. mostrou-se disponível o que muito me agradou. Contudo gostaria de salientar que deveria ser dada uma mesma importância às classificações estatística e aquela com recurso a redes neuronais. Este último tópico poderia ter sido melhor abordado (sendo-lhe dedicado mais tempo) pois não me parece que tenham ficado ideias muito claras sobre o

assunto (não tanto como com a classificação estatística). Assim, em geral agradou-me muito o funcionamento da cadeira, os resultados obtidos reflectem o trabalho desenvolvido, os que muito provavelmente poderá cativar a opção doutros alunos.  

Cláudio Vieira, 2001:

Reconhecimento de Padrões revelou-se uma area muito interessante. E' a única cadeira do curso que trata estas matérias, de aplicação bastante frequente e generalizada. Fundamental...

Gostei particularmente da aplicação da aprendizagem não supervisada e das redes neuronais. A maior importância foi dada a aplicar as diversas técnicas na pratica, o que evita perdermo-nos na teoria.

As aulas seguiram um ritmo leve e agradável, intercalando teoria com pratica. Penso que o método de avaliação e' o mais