Comparando a Compreensão de Expressões Faciais entre Humanos e IA

O reconhecimento de expressões faciais (FER) é essencial pra entender o comportamento humano. Com o avanço do deep learning, alguns modelos tão conseguindo identificar expressões faciais melhor que humanos. Mas, ainda não tá claro quão próximo esses modelos tão de como os humanos entendem as expressões faciais. Esse estudo analisa quão similares os modelos de deep learning são à percepção humana, examinando doze modelos diferentes, incluindo classificadores de imagem gerais e aqueles feitos especificamente pra FER.

#Importância das Expressões Faciais

As expressões faciais trazem informações valiosas na comunicação humana. Elas representam visualmente emoções, oferecendo pistas que ajudam os outros a entender o que alguém tá sentindo. Enquanto alguns acham que as expressões faciais podem variar entre culturas, muitos estudos apoiam a ideia de que existem expressões básicas reconhecidas universalmente, como raiva, felicidade, surpresa, nojo, tristeza e medo.

#O Crescimento do Reconhecimento Automático de Expressões Faciais

Nos últimos anos, pesquisadores têm trabalhado pra desenvolver sistemas automáticos de FER por causa de suas aplicações práticas, como nas áreas médicas, análise de comportamento humano e interação humano-computador. No começo, o foco era extrair características de imagens faciais. Mas, com os avanços em deep learning, principalmente com técnicas como Redes Neurais Convolucionais (CNNs), esses sistemas fizeram progresso notável em reconhecer expressões faciais.

#Antropomorfismo Cognitivo e IA

Os humanos costumam atribuir qualidades humanas a sistemas de IA, achando que eles funcionam como a gente. Embora um modelo de deep learning possa ter uma precisão alta em reconhecer expressões, isso não significa que os processos por trás do reconhecimento sejam iguais ao pensamento humano. Estudos recentes começaram a avaliar as semelhanças entre deep learning e visão humana, mas comparações detalhadas ainda são raras.

#Comparando o Comportamento Humano e da IA

Alguns pesquisadores analisaram como os humanos classificam expressões em comparação com como os modelos de IA fazem. Eles sugerem maneiras de melhorar os modelos pra alinhar melhor com como os humanos reconhecem emoções. Isso pode ajudar a reduzir erros e melhorar o desempenho das redes de deep learning.

#Métodos de Análise de Expressão Humana

Pesquisadores usam diferentes sistemas pra estudar movimentos faciais humanos, como o Facial Action Coding System (FACS). O FACS decompõe movimentos faciais em Unidades de Ação, que correspondem a movimentos musculares específicos. Analisando essas unidades, os humanos conseguem identificar expressões comuns e suas emoções associadas.

#Foco deste Estudo

Esse estudo se concentra em redes de deep learning treinadas pra reconhecer expressões faciais. O objetivo é ver se essas redes observam os mesmos movimentos faciais que os humanos e quão similar é o processamento delas. Aplicamos técnicas de IA explicável pra analisar quão próximas essas redes estão do processamento humano.

#Objetivos da Pesquisa

Dois objetivos principais guiam esse trabalho:

1. Examinar as semelhanças entre redes de deep learning e as unidades de ação facial usando técnicas de explicabilidade.
2. Comparar diferentes CNNs pra determinar se elas enfatizam regiões faciais semelhantes ao reconhecer expressões.

#Revisão da Literatura sobre Reconhecimento de Expressões Faciais

Tem havido pesquisas limitadas comparando a percepção humana e sistemas de deep learning em FER. Enquanto alguns estudos exploraram IA explicável nesse campo, a maioria não focou nas semelhanças ou diferenças em como humanos e IA percebem expressões. Outros trabalhos investigaram se redes neurais aprenderam unidades de ação facial em tarefas de reconhecimento. Contudo, nenhum desses estudos fez uma comparação aprofundada de como modelos aprendem em comparação com como humanos percebem pistas faciais.

#Tipos de Conjuntos de dados Usados

Vários conjuntos de dados padrão são comumente usados em estudos de expressões faciais, incluindo:

• O conjunto de dados Extended Cohn-Kanade (CK+)
• O conjunto de dados BU-4DFE
• O conjunto de dados JAFFE
• O conjunto de dados WSEFEP
• O conjunto de dados Facial Expression, Gender and Age (FEGA)

Esses conjuntos contêm imagens ou sequências de diferentes sujeitos expressando várias emoções.

#Pré-processamento e Aumento de Dados

Antes de treinar, as imagens precisam ser padronizadas. Isso envolve detectar rostos, alinhá-los com base em pontos-chave faciais, converter as imagens em preto e branco e redimensioná-las pros inputs das CNNs. Técnicas de aumento de dados, como mudar a iluminação e alterar posições faciais, também são usadas pra melhorar o conjunto de dados de treinamento.

#Visão Geral das Arquiteturas CNN

Doze modelos diferentes de CNN foram treinados pra reconhecer expressões faciais. Isso inclui nove modelos populares e três projetados especificamente pra FER. Alguns desses modelos são bem estabelecidos nas áreas de visão computacional e neurociência.

• AlexNet, WeiNet, SongNet, SilNet: Esses modelos têm estruturas mais simples.
• VGG16 e VGG19: Esses usam filtros convolucionais 3x3 e têm arquiteturas mais profundas.
• ResNet50 e ResNet101V2: Esses permitem redes mais profundas por meio de conexões de salto.
• InceptionV3 e Xception: Esses usam técnicas avançadas pra melhorar o desempenho.
• MobileNetV3 e EfficientNetV2: Focados na eficiência, especialmente em dispositivos móveis.

Cada modelo foi treinado e avaliado com vários conjuntos de dados, focando em como eles reconhecem e categorizam expressões faciais de forma eficaz.

#Treinamento e Avaliação das Redes

Cada modelo passou por validação cruzada k-fold pra testes. Os participantes foram agrupados pra garantir uma avaliação justa entre os diferentes conjuntos de dados. O treinamento preliminar ajudou a determinar o número de épocas necessárias pra cada modelo ter um bom desempenho.

#Medindo o Desempenho

Os modelos foram avaliados com base em sua precisão nos conjuntos de teste. A maioria das redes se saiu bem, com precisões em torno de 80% a 84%, embora algumas, como a ResNet50, tivessem um desempenho ligeiramente inferior.

#Entendendo as Regiões Importantes para o Reconhecimento

Mapas de calor gerados pelas CNNs destacaram as regiões faciais consideradas importantes pra reconhecer cada expressão. Analisar esses mapas de calor oferece insights sobre quais áreas do rosto as redes focam pra suas classificações.

#Observações dos Mapas de Calor

1. Raiva: Regiões relevantes se espalham pelo rosto, especialmente ao redor da boca e da testa.
2. Nojo: O nariz e a boca foram cruciais na classificação.
3. Medo: A boca e o queixo foram significativos, assim como os olhos.
4. Felicidade: A boca foi a característica central.
5. Tristeza: As áreas importantes estavam mais dispersas pelo rosto.
6. Surpresa: As regiões dos olhos e da boca foram especialmente cruciais.

Esses padrões são consistentes e se alinham com as percepções humanas das expressões.

#Comparação entre Modelos Pré-treinados e Não Pré-treinados

Mapas de calor de redes pré-treinadas costumam mostrar uma importância mais localizada em comparação com aquelas que não foram pré-treinadas, que geralmente apresentam regiões de interesse mais espalhadas. Esse alinhamento pode influenciar a consistência e a precisão do reconhecimento de expressões.

#Comparando Mapas de Calor da IA e Humanos

Pra avaliar quão similares as redes são à percepção humana de expressões, métricas de IoU (Intersection over Union) foram usadas pra comparar os mapas de calor com máscaras de Ekman derivadas das unidades de ação. Os resultados indicaram que, embora alguns modelos se saíssem melhor que outros, nenhum alcançou um acordo significativo com as máscaras de Ekman definidas por humanos.

#Principais Descobertas da Comparação

1. Desempenho do IoU: O maior IoU médio foi em torno de 0,33, indicando um alinhamento limitado entre modelos de IA e entendimento humano.
2. Especificidade das Expressões: A expressão de nojo mostrou uma correspondência melhor que as outras, com certos modelos alcançando altas pontuações.
3. Falta de Consistência: Embora algumas redes foquem em áreas semelhantes, a falta geral de concordância com as definições de Ekman mostra que o reconhecimento de IA pode não espelhar o reconhecimento humano.

#Dendrogramas e Análise de Similaridade

Dendrogramas, construídos usando coeficientes de correlação normalizados, ajudaram a visualizar as semelhanças entre mapas de calor de diferentes redes. Dois clusters principais surgiram: um pra redes que usaram pesos pré-treinados e outro pra aquelas treinadas do zero. Isso sugere que o pré-treinamento pode ajudar os modelos a convergir pra soluções semelhantes.

#Conclusão

Usando várias arquiteturas de CNN, essa pesquisa buscou investigar a relação entre reconhecimento de expressões faciais por humanos e IA. Embora a maioria das redes tenha alcançado precisão satisfatória no reconhecimento de expressões, os resultados mostraram discrepâncias significativas em como interpretam regiões faciais importantes. Notavelmente, modelos pré-treinados tendem a se alinhar mais perto que aqueles treinados do zero. No entanto, a baixa similaridade geral entre modelos de IA e regiões percebidas pelos humanos indica a necessidade de futuros trabalhos pra melhorar o entendimento e a adequação.

#Trabalhos Futuros

Ainda há muitos aspectos a explorar. Pesquisas futuras poderiam olhar pra diferentes tipos de modelos além das CNNs. Também é essencial considerar se alinhar a visão da IA com a percepção humana é crucial pra construir confiança em sistemas automatizados. No geral, melhorar a relação entre reconhecimento humano e IA poderia aumentar tanto o desempenho quanto a confiança do usuário em sistemas de análise de expressões faciais.