Avançando os Testes de Carros Autônomos com o GEN-BO

Os avanços recentes na tecnologia levaram a sistemas melhores para carros autônomos. Esses progressos vêm de melhorias em aprendizado profundo e tecnologia de sensores. Mas uma questão principal é garantir que esses sistemas de direção autônoma sejam seguros e confiáveis.

Para testar esses sistemas, os engenheiros costumam mudar vários fatores em um cenário simulado de direção até que o sistema falhe. Embora esse método seja comum, ele tem algumas desvantagens importantes. Primeiro, as mudanças feitas durante a simulação podem não se traduzir facilmente em situações de teste do mundo real, como alterar a forma da estrada. Segundo, cenários em que o sistema autônomo se sai bem costumam não ser mais examinados, mesmo que essas situações possam revelar desafios desconhecidos que poderiam levar a falhas do sistema.

Esse artigo apresenta um novo método chamado GERador de Pares de Estados de Limite, ou GEN-BO, que tem o objetivo de melhorar o teste de sistemas de direção autônoma. Diferente dos métodos tradicionais, o GEN-BO ajusta as Condições de Direção do veículo autônomo com base em dados coletados previamente de um ambiente sem falhas. Dessa forma, ele gera cenários desafiadores onde o sistema provavelmente terá dificuldades, tudo dentro do mesmo ambiente inicial. Essas condições desafiadoras são então usadas para expandir o conjunto de dados de treinamento do sistema, levando a um modelo de direção autônoma mais robusto.

#Importância do Teste de Sistemas de Direção Autônoma

Mesmo que veículos totalmente autônomos (designados como Nível 5) ainda não estejam disponíveis, muitos sistemas atualmente em uso mostram níveis impressionantes de automação, como o piloto automático da Tesla, que é considerado um sistema de Nível 2. Devido à natureza crítica dos testes desses sistemas de direção autônoma, a pesquisa nessa área é fundamental tanto para as tecnologias de hoje quanto para as do futuro.

A quantidade de trabalhos disponíveis sobre teste desses sistemas é extensa. Uma revisão recente cobriu 181 estudos focados em vários aspectos dos testes de ADS publicados de junho de 2015 a junho de 2022. A maioria desses estudos foca em ADS que dependem de modelos de aprendizado profundo para interpretar imagens e tomar decisões. Normalmente, esses sistemas recebem treinamento através de um conjunto de dados rotulados, onde os rótulos indicam quais ações o sistema deve tomar.

Os testes podem ser realizados em ambientes offline ou online. Os testes online, muitas vezes chamados de testes baseados em simulação, envolvem o modelo controlando um veículo em um ambiente simulado para garantir que ele permaneça dentro da sua faixa de direção designada.

A maioria dos métodos atuais de teste baseado em simulação modifica o ambiente de direção em que o modelo autônomo opera. Um caso de teste representa um conjunto específico de condições dentro desse ambiente. Isso pode incluir detalhes como o layout da estrada, marcadores de direção e elementos que podem mudar ao longo do tempo, como o clima ou os movimentos de pedestres e outros veículos.

Contudo, transferir mudanças da simulação para o mundo real é frequentemente difícil. Após um teste simulado, os ADS geralmente passam por testes de campo limitados, que podem ser caros e às vezes impraticáveis. Por exemplo, criar novas pistas de teste pode exigir recursos significativos, enquanto mudar as condições climáticas pode nem mesmo ser possível.

Outro problema é que muitos geradores de teste existentes criam novos cenários até que o sistema autônomo falhe. Mas mesmo em cenários bem-sucedidos, pode haver desafios ocultos que são ignorados. Uma nova abordagem para os testes é necessária, uma que possa gerar situações de direção difíceis sem precisar de uma grande variedade de configurações ambientais.

#Apresentando o GERador de Pares de Estados de Limite

O GEN-BO oferece uma nova forma de testar sistemas autônomos online. Em vez de modificar o ambiente em si, esse método muda as condições de direção do veículo autônomo, como sua posição, velocidade e direção, enquanto mantém o ambiente ao redor fixo.

Trabalhando com um cenário de direção bem-sucedido anterior, o GEN-BO encontra condições de direção desafiadoras que métodos anteriores costumavam ignorar. O sistema utiliza um algoritmo de busca inovador que evolui pares de estados para identificar pares de estados de limite-dois estados que estão próximos um do outro, mas apresentam resultados diferentes quando o sistema é testado (um bem-sucedido e um falhando). Ele aplica técnicas de mutação para criar uma série de pares de estados que cruzam esse limite, enquanto aplica busca binária para localizar eficientemente os pares de limite.

Entre esses pares de estados de limite, o foco está em estados recuperáveis, onde um motorista experiente poderia evitar a falha. Isso possibilita a coleta de um conjunto de dados repleto de condições desafiadoras, que são automaticamente rotuladas por um sistema que possui conhecimento global do cenário de direção. O objetivo é melhorar o conjunto de dados de treinamento original, melhorando assim o desempenho do sistema de direção autônoma em cenários de direção relacionados, mas não vistos.

#Avaliação Empírica do GEN-BO

Para avaliar o GEN-BO, aplicamos ele à funcionalidade de manutenção de faixa de um modelo de teste amplamente utilizado chamado Dave-2. Testando vários modelos de direção em diferentes estágios de treinamento, demonstramos que o GEN-BO pode identificar pares de estados de limite, mesmo para modelos bem treinados. Os resultados indicaram que modelos retrainados com dados de pares de estados de limite atingiram até 16% a mais de taxa de sucesso em um conjunto separado de pistas de avaliação em comparação com suas versões originais.

O processo do GEN-BO consiste em duas etapas: primeiro, ele aplica um algoritmo de busca que extrai pares de estados de limite do modelo de direção, focando em identificar pares que levam a resultados diferentes. Durante a segunda etapa, um sistema de piloto automático com conhecimento abrangente do cenário rotula novas imagens coletadas desses pares de estados de limite, gerando um conjunto de dados que é então usado para retrainar o modelo de direção autônoma.

#Entendendo os Estados do Veículo

O estado de um veículo enquanto dirige consiste em vários fatores que afetam seu movimento. Por exemplo, inclui sua posição absoluta na pista, sua orientação e a velocidade com que está se movendo. Para calcular esse estado de forma eficaz, medimos a distância do veículo ao centro da faixa e o ângulo entre a orientação do veículo e o marcador de direção mais próximo.

Duas condições principais devem ser atendidas para que o veículo permaneça dentro dos limites da faixa. Primeiro, o veículo deve permanecer dentro da área designada da pista durante seu movimento. Segundo, tanto a velocidade quanto a orientação do veículo não devem ultrapassar certos limites baseados no design do veículo.

Ao definir pares de estados de limite-um recuperável e um não recuperável-os engenheiros podem estabelecer critérios claros para os testes. Em um par de estados de limite, os dois estados estão próximos, mas levam a diferentes resultados quando o sistema autônomo tenta navegar pela pista.

#Como os Pares de Estados de Limite são Encontrados

O algoritmo de busca usado no GEN-BO é projetado para evoluir pares de estados de veículo. Para localizar esses pares de estados de limite, o algoritmo segue passos que incluem criar estados iniciais, mutá-los para encontrar válidos e, finalmente, avaliar seus resultados através de simulações.

Estados iniciais podem ser amostrados de corridas bem-sucedidas anteriores ou criados aleatoriamente. O algoritmo muta esses estados até que estados válidos sejam produzidos. Se os dois estados resultam em resultados diferentes quando testados, eles são armazenados como pares de estados de limite.

O objetivo do algoritmo é garantir que os dois estados em um par estão próximos um do outro, enquanto exibem condições de direção desafiadoras. Uma vez encontrado um par, ele passa por mais ajustes até que pares adicionais de estados de limite possam ser identificados.

#Melhorando Modelos de Direção

Uma vez que os pares de estados de limite são identificados, eles podem ser aproveitados para melhorar o desempenho dos modelos de direção autônoma. O sistema de piloto automático é colocado em pares de estados não recuperáveis para coletar dados rotulados, o que ajuda a refinar o modelo de direção. O conjunto de dados atualizado é uma combinação dos dados de treinamento originais e dos novos dados rotulados coletados, que aprimoram a capacidade do modelo de navegar em cenários previamente não vistos.

O sucesso desse método demonstra a importância de condições de direção desafiadoras, mesmo em cenários sem falhas. O processo de teste se beneficia muito da identificação desses estados de limite, levando a sistemas de direção autônoma mais robustos.

#Questões de Pesquisa e Descobertas

O processo de avaliação foi guiado por várias questões de pesquisa, focando na existência e características dos pares de estados de limite, sua capacidade de discriminar entre modelos de direção de qualidade variável e sua eficácia em melhorar um modelo de direção de alta qualidade.

#Existência de Pares de Estados de Limite

A análise revelou que pares de estados de limite podem ser encontrados mesmo em modelos de alta qualidade que se saem bem em condições normais. A existência desses pares indica que cenários de direção desafiadores estão presentes, mostrando que não é sempre necessário mudar variáveis ambientais para identificar fraquezas potenciais em um sistema de direção autônoma.

#Comparação Entre Modelos de Direção

Pares de estados de limite foram usados para comparar diferentes modelos de direção, revelando que modelos com maior qualidade apresentaram condições de limite mais desafiadoras. Isso sugere que a capacidade de identificar e entender esses pares de limite pode fornecer insights sobre a qualidade do modelo de direção.

#Eficácia do Retraining

Finalmente, a eficácia dos pares de estados de limite em melhorar um modelo de direção de alta qualidade foi confirmada através de retraining. Modelos que passaram por retraining com dados coletados de pares de estados de limite demonstraram melhorias significativas nas Taxas de Sucesso em várias pistas de avaliação.

#Desafios e Trabalhos Futuros

Embora as descobertas sejam promissoras, há limitações neste estudo. Os testes foram realizados usando um único simulador e um modelo de direção específico, o que pode limitar a generalizabilidade dos resultados. Pesquisas futuras visam expandir esse trabalho, examinando vários simuladores de direção e empregando diferentes algoritmos para localizar pares de estados de limite.

Trabalhos futuros também explorarão como essas descobertas se mantêm em uma variedade maior de condições de direção, garantindo a robustez e confiabilidade dos sistemas de direção autônoma no mundo real.

#Conclusão

A abordagem GEN-BO fornece uma nova perspectiva sobre o teste de sistemas de direção autônoma, gerando condições de direção desafiadoras através de pares de estados de limite. Essas descobertas demonstram não apenas a existência de desafios ocultos em cenários previamente bem-sucedidos, mas também o potencial para melhorias significativas no desempenho do modelo de direção autônoma através de retraining.

Ao focar em condições de limite que desafiam sistemas de direção autônoma, pesquisadores e engenheiros podem criar veículos autônomos mais confiáveis e eficazes, abrindo caminho para uma implantação mais segura em ambientes do mundo real.