Abordagens Inovadoras para Classificação de Canto de Pássaros

Os pássaros fazem vários sons, e reconhecer esses chamados ajuda a estudar o comportamento deles e a manter a biodiversidade. Em 2024, rolou uma competição chamada BirdCLEF, onde as equipes tinham que identificar espécies de pássaros a partir de gravações feitas nos Ghats Ocidentais da Índia. O desafio envolveu analisar longas gravações e prever quais pássaros estavam vocalizando em cada segmento de 5 segundos.

#Desafio da Identificação de Chamadas de Pássaros

Identificar os chamados dos pássaros é complicado por vários motivos. Espécies diferentes têm sons únicos, mas os chamados delas podem variar bastante. Além disso, ruídos de fundo podem dificultar ouvir as chamadas claramente. A competição focou em 182 espécies-alvo, o que torna tudo mais complexo. Os participantes enfrentaram limites de tempo rígidos para processar as gravações; eles tiveram que analisar cerca de 4400 minutos de som em apenas 120 minutos de tempo de CPU.

#Nossa Abordagem

Nossa equipe usou um método chamado transferência de aprendizado, que envolve pegar conhecimento de um modelo e aplicá-lo a outra tarefa. Usamos modelos já conhecidos como o Classificador de Vocalização de Pássaros do Google e o BirdNET, que são feitos para reconhecer chamadas de pássaros. O objetivo era lidar com os desafios apresentados na competição.

Como as gravações estavam sem rótulos, desenvolvemos uma estratégia para atribuir rótulos pseudo. Isso significa que criamos rótulos com base nas previsões feitas pelos nossos modelos. Ao analisar como os sons mudaram entre os dados de treinamento e os dados sem rótulos, conseguimos refinar nossa abordagem.

#Contexto sobre Classificação de Chamadas de Pássaros

Classificação de chamadas de pássaros geralmente usa gravações de áudio para interpretar os sons. Técnicas de processamento de imagem podem ajudar, como transformar sons em Espectrogramas, que são representações visuais mostrando como as frequências sonoras mudam ao longo do tempo. Muitos modelos de sucesso usam redes neurais convolucionais (CNNs) para analisar esses espectrogramas.

O BirdNET é um modelo bem conhecido de classificação de chamadas de pássaros que se beneficia de espectrogramas. O Classificador de Vocalização de Pássaros do Google, treinado com uma variedade de sons de pássaros, também ajuda nessa área. Esses modelos têm mostrado ótimos resultados na identificação de chamadas de pássaros.

#Transferência de Aprendizado e Embeddings

Transferência de aprendizado aproveita modelos já aprendidos para melhorar novas tarefas. No nosso caso, usamos modelos treinados para identificar chamadas de pássaros e aplicamos o conhecimento deles ao nosso problema. Cada modelo cria embeddings – representações condensadas de dados de áudio que capturam características importantes para a classificação.

Nós avaliamos quão bem esses embeddings funcionaram na transferência de conhecimento. Analisando as semelhanças e diferenças de como vários modelos classificavam chamadas de pássaros, conseguimos encontrar a melhor abordagem para as nossas entradas na competição.

#Exploração de Dados

Antes de mergulhar na modelagem, analisamos os conjuntos de dados de som de treinamento e sem rótulos para ver como as espécies de pássaros estavam distribuídas. Suspeitamos que os dados de treinamento poderiam não representar totalmente os sons nos dados sem rótulos, dada a diferença nos métodos de coleta. Os dados de treinamento, coletados de gravações de crowdsourcing, provavelmente incluíam chamados mais claros, enquanto os dados sem rótulos dos Ghats Ocidentais podem refletir uma paisagem sonora mais complexa.

Olhamos quantas vezes diferentes espécies estavam presentes nas gravações. Nossas descobertas mostraram que muitas espécies nos dados de treinamento não foram encontradas nas gravações sem rótulos. Entender essa distribuição ajudou a refinar nossa estratégia de modelagem.

#O Processo do Experimento

Para encontrar o melhor modelo, realizamos vários experimentos. Testamos diferentes configurações usando transferência de aprendizado para otimizar a classificação de chamadas de pássaros. Montamos um fluxo de trabalho de ponta a ponta para treinar nossos modelos de forma eficaz.

Nos experimentos de transferência de aprendizado, focamos no Classificador de Vocalização de Pássaros do Google como nosso modelo base. Usamos suas previsões como Pseudo-rótulos para treinar um modelo de classificação multi-rótulo. Diferentes funções de perda foram aplicadas para encontrar a maneira mais eficaz de medir o desempenho dos nossos modelos.

#Perdas de Treinamento

Uma parte crucial do nosso processo foi usar funções de perda, que nos ajudam a entender como nosso modelo está indo. Tentamos diferentes tipos de perdas:

1. Binary Cross-Entropy: Essa é uma função de perda simples que trata cada rótulo como uma tarefa de classificação binária separada. Foi usada como base para comparação.

2. Asymmetric Loss (ASL): Essa função de perda penaliza erros de maneira diferente para falsos positivos e falsos negativos. Foi benéfica para nossa tarefa, pois nossos dados tinham rótulos sobrepostos e confusos.

3. Sigmoid F1 Loss: Em vez de usar métricas tradicionais, essa abordagem otimizou diretamente para o F1 score, nos dando insights sobre como nosso modelo estava se saindo em várias classes.

Ao avaliar essas perdas, tentamos encontrar o melhor equilíbrio entre precisão e eficiência.

#Resultados e Comparações

Depois de rodar nossos experimentos, compilamos os resultados para comparar diferentes modelos e abordagens. Notamos que usar embeddings do BirdNET geralmente resultou em um desempenho melhor comparado ao modelo de Vocalização de Pássaros sozinho.

Descobrimos também que acessar o rótulo da espécie para cada pasta melhorou significativamente nossas pontuações. Isso sugere que ter mais informações contextuais pode aumentar bastante a precisão do modelo.

#Tempo de Inferência

O tempo de processamento é uma consideração crítica em competições como a BirdCLEF. Monitoramos quanto tempo levou para analisar paisagens sonoras usando nossos modelos. Enquanto alguns dos nossos modelos se saíram bem dentro dos limites de tempo, outros, como o modelo de Vocalização de Pássaros, excederam o tempo permitido devido à sua complexidade.

Ao otimizar nossos modelos para desempenho, garantimos que eles pudessem lidar com a carga de trabalho de forma eficiente dentro das limitações da competição.

#Discussão sobre Descobertas

Nossos experimentos mostraram o potencial de usar transferência de aprendizado na classificação de chamadas de pássaros. Embora os resultados tenham sido promissores, ainda havia áreas para melhorar. Modelos treinados apenas em paisagens sonoras não se saíram tão bem quanto aqueles treinados no conjunto de dados original. Isso levantou questões sobre como melhor incorporar ambientes de gravação diversos em nossos modelos.

Além disso, a abordagem de usar pseudo-rótulos se mostrou valiosa, mas destacou a necessidade de modelos base mais precisos para fornecer melhores previsões para transferência de aprendizado.

#Direções Futuras

Olhando à frente, planejamos explorar mais maneiras de integrar padrões de coocorrência de espécies em nossos modelos. Isso poderia aumentar a precisão da classificação aproveitando contextos adicionais sobre quais espécies são mais propensas a serem encontradas juntas.

A gente também quer otimizar ainda mais a eficiência computacional e explorar arquiteturas de modelos alternativas que podem ser mais adequadas para lidar com as características específicas dos dados de áudio. Nosso foco será desenvolver métodos que consigam equilibrar complexidade com desempenho, permitindo um processamento mais ágil sem sacrificar a precisão.

#Conclusão

Nosso trabalho na competição BirdCLEF 2024 destacou a eficácia da transferência de aprendizado na classificação de chamadas de pássaros. Ao combinar embeddings de modelos pré-treinados e explorar várias estratégias de treinamento, conseguimos um desempenho notável. Embora ainda haja muito a aprender e melhorar, nossas descobertas contribuem para o esforço contínuo de monitorar e conservar espécies de pássaros através de técnicas avançadas de análise de áudio.