Migliorare i LLM con una selezione di dati efficace

I modelli di linguaggio di grandi dimensioni (LLMs) stanno diventando strumenti popolari per aiutare gli utenti con vari compiti di programmazione, soprattutto quando si tratta di lavorare con i Dati. Questi modelli possono assistere utenti comuni, non solo programmatori professionisti. Molte persone hanno bisogno di aiuto con compiti che coinvolgono la gestione dei dati nelle tabelle, come la gestione dei fogli di calcolo. Tuttavia, questi compiti possono essere complicati perché spesso è difficile spiegare cosa si vuole usando solo parole senza mostrare i dati reali.

Una domanda importante sorge: come decidiamo quali dati includere quando chiediamo aiuto al Modello? Questo articolo discute due contributi principali per rispondere a questa domanda. In primo luogo, si esamina un nuovo dataset creato da problemi reali che le persone hanno postato online riguardo al lavoro con le tabelle. In secondo luogo, introduce un nuovo metodo chiamato "cluster-then-select" per scegliere le migliori righe di dati da includere quando si interagisce con il modello.

La ricerca ha dimostrato che il successo degli LLM può dipendere molto da quanti dati sono inclusi nel prompt. Il nuovo metodo di cui parliamo fa meglio rispetto a scegliere righe casuali da un dataset, specialmente quando i dati sono scritti in modi diversi.

#La Necessità di Strumenti Migliori

Man mano che gli LLM diventano più avanzati, promettono di aiutare gli utenti con compiti che coinvolgono la gestione dei dati. Questi compiti possono variare dall'analisi di stringhe di testo nei fogli di calcolo alla pulizia e all'organizzazione dei dati in vari programmi. Considera un compito semplice: se hai un elenco di nomi completi e vuoi creare un nuovo elenco di nomi utente usando l'iniziale e il cognome, si può fare usando un linguaggio di programmazione come Pandas.

Tuttavia, la sfida arriva dal fatto che i nomi possono apparire in molti formati diversi. Alcune persone potrebbero avere solo un nome e un cognome, mentre altre potrebbero avere nomi di mezzo aggiuntivi. Se al modello vengono forniti solo pochi esempi che non includono tutte queste variazioni, potrebbe creare un programma difettoso che non funziona correttamente.

Questo articolo si concentra su compiti che coinvolgono più passaggi per trasformare i dati di input in nuovi output. Utilizzando esempi reali da forum di aiuto online, abbiamo creato un nuovo dataset che include sia una domanda posta in linguaggio semplice sia una piccola tabella di dati con cui lavorare.

#Analizzando le Richieste degli Utenti

Per capire meglio le sfide, esaminiamo i tipi di domande che gli utenti potrebbero porre. Molti compiti sui dati richiedono che gli utenti descrivano ciò che vogliono in linguaggio naturale, ma i dati di esempio sono cruciali per arrivare alla soluzione giusta. Poiché la maggior parte delle tabelle utilizzate nel mondo reale sono grandi, spesso non è pratico inviare l'intera tabella al modello. Quindi, la sfida è trovare il modo migliore per spiegare la struttura di questi grandi dati.

Per affrontare questo problema, abbiamo sviluppato un metodo per raggruppare le righe di dati in base ai loro formati e poi scegliere le righe più rappresentative da includere nel prompt. Ad esempio, se vogliamo creare nomi utente, il nostro metodo si assicura che includiamo una riga per ciascun tipo di formato di nome, che non abbia nome di mezzo, un nome di mezzo o più.

#Costruire un Dataset

Questo nuovo dataset è costruito a partire da compiti reali che gli utenti hanno affrontato. Abbiamo raccolto dati da post ben valutati riguardo all'uso di formule di Excel, poiché riflettono spesso le sfide comuni dei fogli di calcolo. Questo ha portato a 201 compiti unici che includono una domanda chiara, un input di dati e l'output previsto, insieme a una soluzione in Pandas.

I compiti in questo dataset variano da quelli semplici che non richiedono dati per essere risolti, a quelli che necessitano sia di dati che di alcune conoscenze esterne. Ad esempio, creare una nuova colonna che elenchi i primi cinque caratteri di un nome di file non richiede dati esterni, mentre contare le date di festività tra due date sì.

#Il Ruolo dei Dati

Il dataset ci aiuta a studiare come i dati influenzano le Prestazioni del modello. Analizziamo diverse situazioni: nessun dato, solo la prima riga di dati e un set espanso con dieci righe. Le nostre scoperte indicano che anche una piccola quantità di dati può migliorare significativamente le prestazioni.

#Confrontare Diverse Tecniche di Selezione

Attraverso esperimenti con la nostra nuova tecnica cluster-then-select, la confrontiamo con la semplice scelta di righe di dati casuali. Nei nostri test, questo nuovo metodo funziona meglio per compiti che hanno molte variazioni nell'input. Ad esempio, dare al modello dieci righe selezionate in base ai risultati di clustering porta spesso a prestazioni migliori rispetto a selezionare righe casualmente.

Osserviamo un'alta variabilità nei risultati quando si utilizza la selezione casuale perché può portare a scegliere righe che non rappresentano realmente le variazioni nell'input. Pertanto, mentre entrambi i metodi possono dare buoni risultati complessivi, il nostro metodo cluster-then-select fornisce un risultato più coerente.

#Posizionamento dei Dati nei Prompt

Un altro punto interessante è come la posizione delle righe di dati in un prompt influenzi le prestazioni. In un insieme separato di test, abbiamo mescolato l'ordine delle righe di dati nei prompt per vedere come ciò influenzasse i risultati. Abbiamo notato che la posizione ha un impatto sostanziale, con alcune disposizioni che performano meglio di altre. Questo è in linea con quanto mostrato dalla ricerca precedente riguardo a come l'ordine delle informazioni possa cambiare la sua efficacia.

#Direzioni Future

I risultati della nostra ricerca sottolineano l'importanza dei dati nell'aiutare i modelli a generare codici per compiti focalizzati sui dati. Fornire dati migliora significativamente le prestazioni. Poiché condividere l'intero dataset è generalmente impratico, la nostra tecnica cluster-then-select ci consente di includere solo le righe più rilevanti nel prompt.

Tuttavia, ci sono ancora molte sfide da affrontare. Le ricerche future potrebbero coinvolgere problemi più complessi, come input provenienti da più tabelle o diversi tipi di strutture dati. Queste nuove direzioni potrebbero fornire una comprensione più profonda di come supportare meglio gli utenti.

#Considerazioni Etiche

È cruciale tenere a mente le più ampie implicazioni etiche dello sviluppo di modelli di intelligenza artificiale che creano codice a partire da input in linguaggio naturale. Questioni come il bias e i potenziali rischi associati alla gestione di informazioni personali sono importanti da considerare. Anche se il nostro focus è migliorare le prestazioni del modello con i dati, garantire che i dati utilizzati siano di alta qualità è altrettanto vitale.

Puntiamo a fornire risultati di cui gli utenti possano fidarsi, e questo significa essere consapevoli di come i dati possano influenzare i risultati prodotti dal modello. Fornire contesto attorno ai dati aiuta a prevenire qualsiasi uso improprio o interpretazione errata degli output generati.

#Conclusione

In sintesi, questo articolo mette in evidenza l'importanza dei dati quando si lavora su compiti di codifica con gli LLM. Abbiamo introdotto un dataset che riflette le sfide del mondo reale che gli utenti affrontano e dimostrato come il nostro metodo cluster-then-select superi le tecniche di campionamento casuale. Fornendo anche dati minimi, possiamo aumentare significativamente le prestazioni del modello.

Guardando al futuro, sarà necessario esplorare ulteriormente scenari complessi di dati per migliorare ulteriormente questi modelli. La comunità di ricerca può beneficiare di nuovi dataset, di una migliore comprensione delle relazioni tra dati e contesto e di strumenti che si concentrano sull'assistenza agli utenti nelle loro esigenze di codifica.