Artigos mais recentes para Avaliação de Dados

Novo conjunto de dados melhora a avaliação de modelos multilíngues em várias línguas.

A métrica SQuArE melhora a avaliação de sistemas de QA através de múltiplas referências de resposta.

Novos métodos melhoram a avaliação de desempenho de pequenos objetos em WSSS.

Uma nova estrutura para avaliar sistemas RAG sem referências humanas.

Apresentando um método que mede a qualidade das respostas em diferentes níveis de detalhe.

Este estudo propõe novos métodos para avaliar as respostas em sistemas de perguntas e respostas de máquina.

Novos métodos melhoram a avaliação das explicações de modelos de IA.

Um novo conjunto de dados e método melhoram a geração de perguntas em modelos de linguagem.

Novo conjunto de dados melhora a verificação dos passos de raciocínio em modelos de IA.

Esse artigo apresenta um benchmark pra avaliar modelos de linguagem grandes com tarefas complexas.

Um estudo sobre como o ChatGPT usa linguagem e características de vocabulário.

Um olhar detalhado sobre a avaliação da CyberMetric de especialistas em IA e humanos em cibersegurança.

Um novo método avalia a eficácia da edição de modelos na geração de textos mais longos.

Uma nova estrutura pra avaliar a correção das respostas da IA com um julgamento parecido com o humano.

Novo conjunto de dados melhora os métodos de avaliação para desaprendizado de máquina na geração de imagens.

O FanOutQA ajuda a avaliar modelos de linguagem em perguntas difíceis de múltiplos passos usando dados estruturados.

Uma nova ferramenta gera várias instâncias de alucinações visuais para melhorar a precisão da IA.

Esse artigo fala sobre uma nova estrutura pra avaliar alucinações em LVLMs.

Um método para avaliação contínua de modelos em machine learning pra evitar overfitting.

Um novo método melhora a checagem de fatos em sistemas de geração aumentada por recuperação.

Aprimorando a compreensão das intenções dos usuários através da negação e implicatura.

Uma análise da compreensão dos modelos de linguagem sobre as regras de reconhecimento de entidades.

Essa pesquisa avalia o uso de LLMs pra cenários realistas de carros autônomos.

Um framework pra melhorar o desempenho de NLP em vários dialetos de linguagem.

Avaliar LLMs na habilidade de processar textos longos na literatura.

Uma nova estrutura avalia quão confiáveis são os LLMs como assistentes biomédicos.

Um estudo destaca o impacto da contaminação de dados nas avaliações de modelos de código.

Um novo conjunto de dados melhora a avaliação do conhecimento molecular em modelos de linguagem.

O SPHINX-V melhora a capacidade da IA de interpretar imagens através da interação do usuário.

O BEAR melhora a avaliação do conhecimento relacional em modelos de linguagem.

Esse estudo examina como os modelos de linguagem lidam com diferentes expressões dos mesmos problemas de raciocínio.

Um novo conjunto de dados avalia como os modelos de linguagem lidam com conteúdo prejudicial em diferentes culturas.

Um novo parâmetro melhora como a gente avalia os LVLMs e a precisão deles.

Uma avaliação de quão bem os LLMs lembram informações factuais e os fatores envolvidos.

Este estudo oferece métodos melhores para avaliar modelos de texto para imagem.

Um estudo avaliando métodos de aprendizado com poucos exemplos para classificação da língua polonesa.

Novas métricas melhoram a avaliação de sistemas de extração de informações em documentos manuscritos.

O WorkBench testa a habilidade dos agentes de realizar tarefas de escritório realistas com um método de avaliação único.

Avaliando como os LLMs se adaptam a novas informações e preconceitos.

Um novo método pra avaliar como os modelos de linguagem tão alinhados com os valores humanos.