Articoli più recenti per Benchmark

I ricercatori analizzano quanto sia prevedibile il rendimento dei modelli di linguaggio man mano che aumenta la potenza di calcolo per l'addestramento.

Uno sguardo agli attacchi backdoor e alle difese nei modelli di deep learning.

Questo documento valuta l'efficienza del codice generato da vari modelli.

Quest'articolo presenta un benchmark per valutare modelli di linguaggio grandi con compiti complessi.

Questo studio valuta le capacità dei grandi modelli linguistici in scenari di pianificazione complessi.

La ricerca esamina l'uso dei VLM per valutare le azioni dei robot.

Esplorare il ruolo dei grandi modelli linguistici nella scienza molecolare.

Esplorando metodi per migliorare le performance dei robot in ambienti imprevedibili.

AV-SUPERB valuta modelli audio e visivi su vari task per migliorare le prestazioni.

Nuovi strumenti migliorano come i sistemi recuperano informazioni da documenti lunghi.

Questo benchmark valuta le performance dei modelli di linguaggio medico nella sanità.

Un metodo per tenere i modelli di IA aggiornati in base agli eventi del mondo reale.

Nuovi test di benchmark MLLM sui compiti dei social media come disinformazione e discorsi d'odio.

RobotScript migliora il modo in cui i robot eseguono compiti a partire dal linguaggio naturale.

Una nuova prospettiva per scoprire minacce nascoste nel design dell'hardware.

Nuovi metodi mirano a valutare meglio le abilità di ragionamento nei modelli linguistici AI.

DyPyBench offre un insieme vario di progetti per l'analisi dinamica in Python.

La capacità dell'IA di trasformare i design in codice sta cambiando il modo di fare sviluppo web.

Uno studio rivela un'importante sovrapposizione di dati che influisce sulle valutazioni dei modelli linguistici nella generazione di codice.

Valutare le prestazioni degli LLM tramite un benchmark dedicato all'analisi delle bio-immagini.

Un nuovo metodo per valutare gli strumenti di elaborazione del linguaggio sembra promettere miglioramenti.

Un metodo per valutare la trasferibilità dei modelli pre-addestrati per il rilevamento degli oggetti.

Una risorsa pensata per aiutare i robot a imparare in modo efficace le attività quotidiane.

Uno sguardo alla valutazione delle capacità decisionali dei grandi modelli di linguaggio.

Un framework per migliorare le performance del NLP attraverso vari dialetti linguistici.

Un nuovo benchmark rivela punti di forza e debolezza dei VLLM nei compiti multimodali.

Gli esperti si riuniscono per parlare delle simulazioni di Monte Carlo e dei miglioramenti delle GPU.

Nuovi benchmark rivelano i punti di forza e di debolezza dei modelli di linguaggio di codice.

Meerkat-7B stabilisce un nuovo standard per i modelli di linguaggio medico open-source.

Nuovi metodi migliorano la sintesi video usando grandi set di dati e modelli avanzati.

La ricerca rivela le sfide che i LLM affrontano nel capire testi lunghi e propone nuovi benchmark.

Esplorare il design e i benefici di un PMU per processori RISC-V usati nello spazio.

Questo studio esamina i problemi di qualità nei prompt per i modelli di generazione di codice.

Un nuovo benchmark rivela lacune nella comprensione visiva dei modelli di linguaggio grandi.

Un nuovo benchmark migliora il modo in cui valutiamo gli LVLM e la loro precisione.

La competizione CHC ha messo in mostra i progressi nei solver e le loro applicazioni nella verifica dei programmi.

Questo articolo esplora come migliorare la comprensione delle risposte indirette.

Uno studio che valuta i metodi di few-shot learning per la classificazione della lingua polacca.

I modelli di PatentGPT sono progettati per affrontare sfide uniche nella Proprietà Intellettuale.

Uno studio sull'efficacia degli strumenti SAST per i contratti intelligenti.