Making My Own Smile Detector Part 1

Olá

Estive lendo algumas literaduras sobre expressões faciais aplicado a robótica, sempre fui um tanto curioso em saber e entender como sistemas robóticos conseguem definir comportamentos e classificar expressões humanas …

Pois bem o caminho não é tão complicado quanto esperava em 1 final de semana chuvoso me veio a inspiração para iniciar um detector de sorrisos a pricipio por amostra de fotos com pessoas para adquirir os conceitos obtidos na não tao vasta literatura sobre classificação robótica facial.

A principio me veio em mente a renomada patente da SONY “smile shutter”, como era de se esperar não encontrei documentação descrevendo os métodos utilizados pela SONY.

Então resolvi seguir sozinho tinha em mente que para conseguir identificar sorrisos iria precisar aplicar algumas métricas geométricas e biometria para definir tal expressão.

Traçando alguns pontos principais para o sucesso:

* Identificar faces
* Identificar boca
* Identificar olhos
* Identificar as extremidades dos olhos e boca
* Definir ponto de Origem e aplicar escala invariante para compensar diferentes tamanhos de imágens
* Calcular distancia da boca (lábio superior, lábio inferior, extremidade do lado esquerdo e direito)

Alguns destes pontos são fáceis de se aplicar …

Iniciei pela identificação da face, logo após parti para a regiao da boca seguido dos olhos na qual me parece ser um ponto fundamental para a identificação do sorriso pois com ele se consegue fazer cálculos biométricos.

Pois bem agora faltava encontrar as extremidades da região da boca e dos olhos, dois pontos X,Y para a região dos olhos e quatro pontos para a região da boca antes destes passos segmentei as regiões da boca e olhos para ter melhor performace ao percorrer a matriz da imágem na procura dos pontos de interesse. Testei rapidamente SOBEL e tive resultados não satisfatórios fui então para CANNY e o resultado foi esplêndido para encontrar as extremidades das regioes segmentadas, um ajuste fino com filtro deve ser pensado para melhorar o resultado da região dos olhos.

Segue tela de dois testes :

Na Imagem podemos notar que a região da boca e dos olhos não tiveram bons resultados (rostos estão levemente inclinados). Para Debug estou mostrando 5 fotos de saida, sao elas, região da boca, olhos, regiao dos olhos aplicado com filtro, imagem com os pontos da regiao da boca e imagem com a face boca e olhos..

Vamos a outro teste:

Bom podemos notar que o resultado foi melhor para este rosto o angulo frontal caiu como uma luva na regiao segmentada da boca todos os pontos estão exatamente sobre suas extremidades, ainda estou tendo dificuldades para a região dos olhos acredito que possa melhorar dilatando a imágem …

Para o proximo post espero mostrar os avanços e concluir os pontos restantes que são:
* Definir ponto de Origem e aplicar escala invariante para compensar diferentes tamanhos de imágens
* Calcular distancia da boca (lábio superior, lábio inferior, extremidade do lado esquerdo e direito)

Até

Eng Eder de Souza