Presentiamo Paramanu-Ayn: Un Nuovo Modello di Linguaggio Legale

In questo articolo, parliamo di un nuovo modello di linguaggio chiamato Paramanu-Ayn. Questo modello è stato progettato specificamente per gestire documenti di casi legali della Corte Suprema dell'India, la Costituzione dell'India e il Codice Penale Indiano. Il modello è costruito da zero, usando una struttura unica chiamata decoder Auto-Regressivo. Questa struttura consente al modello di elaborare una grande quantità di testo, facilitando la comprensione e generazione di documenti legali.

#Allenamento del Modello

Paramanu-Ayn è stato addestrato usando una dimensione di contesto di 8192 token. Questo significa che il modello può esaminare un grande blocco di testo alla volta, il che aiuta a capire meglio il contesto. L'allenamento ha incluso la valutazione delle prestazioni del modello usando metriche di perplessità, che misurano quanto bene il modello riesce a prevedere la prossima parola in una frase. Per migliorare le sue capacità, il modello è stato anche affinato usando un insieme di 10.763 istruzioni specifiche relative a vari Compiti legali.

Questi compiti includono Ragionamento Legale, spiegazione delle sentenze, generazione di clausole legali, redazione di contratti, riassunto di casi e risposte a domande costituzionali. Il modello è stato confrontato con un altro modello ben noto, GPT-3.5-Turbo, per valutare le sue prestazioni in aree come chiarezza, rilevanza e completezza.

#Velocità ed Efficienza

Una delle caratteristiche principali di Paramanu-Ayn è la sua capacità di funzionare in modo efficiente su una CPU. Il modello può elaborare testi a una velocità di 42,46 token al secondo, il che è impressionante per un modello di linguaggio di questo tipo. Nonostante non sia stato addestrato su un'ampia gamma di testi legali, il modello ha dimostrato una forte capacità di comprendere e generare contenuti legali pertinenti.

#Approccio Unico

A differenza di altri grandi modelli di linguaggio che cercano di gestire tutto, i creatori di Paramanu-Ayn si concentrano su modelli specializzati mirati a domini specifici. Questo approccio minimizza i costi di allenamento e riduce la latenza di inferenza. L'obiettivo è sviluppare modelli più piccoli e specializzati che possano funzionare bene anche in ambienti con risorse limitate.

#Contributi Chiave

1. Creazione di un Corpus di Allenamento: Gli autori hanno compilato un dataset di allenamento specializzato composto dalla Costituzione dell'India, dal Codice Penale Indiano e dai documenti di casi della Corte Suprema fino a dicembre 2023.

2. Sviluppo di un Modello Dedicato: Paramanu-Ayn è il primo modello di linguaggio costruito specificamente per documenti di casi legali in India, operando con una dimensione di contesto di 8192 token.

3. Metriche di Valutazione: I modelli sono stati valutati su metriche di perplessità e Utilizzo dei FLOPs del modello (MFU) durante la fase di pre-addestramento. Queste metriche forniscono informazioni sulle prestazioni e sull'efficienza del modello.

4. Affinamento delle Istruzioni: Il modello è stato affinato usando un insieme completo di istruzioni legali, che dimostrano le sue capacità di affrontare vari compiti legali.

5. Analisi Comparativa: Le risposte generate da Paramanu-Ayn sono state valutate rispetto alle risposte di GPT-3.5-Turbo, evidenziando i suoi punti di forza in chiarezza, rilevanza, completezza e ragionamento legale.

#Lavori Correlati

La maggior parte dei modelli di linguaggio esistenti sono stati addestrati su dati generali, che spesso includono qualche contenuto legale, ma tipicamente da giurisdizioni occidentali. Al contrario, Paramanu-Ayn si concentra esclusivamente su documenti legali indiani. Questo approccio mirato consente una migliore gestione del linguaggio e del contesto legale indiano.

#Modellazione del Linguaggio e Metriche

La modellazione del linguaggio implica la previsione della prossima parola in una frase basandosi sulle parole che l'hanno preceduta. Il modo principale per valutare le prestazioni di un modello di linguaggio è calcolare la perdita di entropia incrociata, che misura la capacità del modello di prevedere le parole con precisione.

La perplessità è una metrica correlata che rappresenta l'esponenziale della perdita media. Una perplessità più bassa indica un modello con prestazioni migliori, poiché mostra che il modello può generare testo che si allinea strettamente con i dati di addestramento.

#Metriche di Prestazione del Modello

#Utilizzo dei FLOPs del Modello (MFU)

L'Utilizzo dei FLOPs del Modello (MFU) è usato per misurare quanto efficientemente il modello utilizza le risorse computazionali durante l'allenamento. Analizzando il throughput rispetto al massimo teorico, possiamo determinare l'efficacia dei processi di allenamento in termini di velocità e utilizzo delle risorse.

#Preparazione dei Dati

I dati di allenamento per Paramanu-Ayn sono stati curati da documenti legali esistenti, specificamente file di casi della Corte Suprema dell'India. L'obiettivo era creare un dataset completo che catturi le sfumature del linguaggio legale specifico per l'India.

Una parte significativa dei dati include istruzioni da dataset disponibili pubblicamente, che sono state utilizzate per affinare le prestazioni del modello. Il dataset è stato suddiviso in porzioni di addestramento e test per garantire una valutazione accurata delle capacità del modello.

#Risultati

I risultati di prestazione di Paramanu-Ayn mostrano esiti promettenti. Il modello ha ottenuto punteggi soddisfacenti su metriche di chiarezza, rilevanza, completezza e ragionamento legale quando valutato contro GPT-3.5-Turbo. Questi punteggi indicano la forte capacità del modello di generare testo legale coerente e contestualmente appropriato.

Per le istruzioni legali generali, Paramanu-Ayn ha ottenuto punteggi di 6,77/10 in chiarezza, 7,75/10 in rilevanza e 7,50/10 in completezza. Quando ci si è concentrati esclusivamente sulle istruzioni relative ai casi della Corte Suprema, i punteggi sono migliorati significativamente, riflettendo l'addestramento mirato del modello.

#Compiti Legali e Capacità

Il modello può eseguire vari compiti legali in modo efficace. Alcuni esempi includono:

• Analizzare e spiegare il ragionamento legale dietro specifiche sentenze
• Identificare questioni legali chiave nei casi forniti
• Redigere argomentazioni legali per appelli
• Riassumere statuti legali e le loro implicazioni
• Sviluppare strategie legali basate su scenari specifici

La capacità di gestire questi compiti dimostra che Paramanu-Ayn è uno strumento prezioso per i professionisti legali in India.

#Risposte Legislative

Una delle applicazioni del modello è la sua capacità di discutere risposte legislative potenziali a decisioni legali. Ad esempio, usando il caso di Indra Sawhney contro l'Unione dell'India, il modello può generare discussioni sulle politiche di riserva nelle promozioni e le loro implicazioni per diverse comunità in India.

#Sintesi di Questioni Legali

Il modello può anche identificare e riassumere questioni legali chiave in vari casi. Ad esempio, nel caso di Naresh Shridhar Mirajkar contro Stato del Maharashtra, il modello è stato in grado di riconoscere questioni riguardanti la libertà di espressione e i diritti dei testimoni nei procedimenti legali.

#Redazione di Argomentazioni Legali

Paramanu-Ayn può redigere argomentazioni legali mirate ad appellarsi a decisioni in vari casi. Analizzando i fatti e i principi legali coinvolti, il modello può creare argomentazioni strutturate che si allineano con gli standard legali.

#Identificazione di Precedenti Legali

Il modello è in grado di identificare precedenti legali pertinenti che potrebbero supportare le sue argomentazioni. Riferendosi a decisioni precedenti, il modello rafforza la sua posizione su questioni legali.

#Sviluppo di Domande Ipotetiche

Il modello può anche generare domande ipotetiche per le autorità legislative. Ad esempio, le domande possono riguardare i passaggi necessari che il governo dovrebbe intraprendere per garantire che i diritti costituzionali siano rispettati in vari scenari.

#Raccomandazioni Politiche

Paramanu-Ayn può proporre modifiche alle politiche esistenti basate su decisioni legali e necessità della comunità. Identifica aree in cui la legislazione può essere migliorata per servire meglio la popolazione e mantenere la giustizia.

#Conclusione

Questo lavoro introduce Paramanu-Ayn, un modello di linguaggio specializzato per documenti di casi legali indiani. Con un approccio di addestramento mirato e prestazioni impressionanti in compiti legali, il modello dimostra un potenziale significativo per migliorare l'elaborazione legale e l'accessibilità nel contesto indiano.

Concentrandosi sulle esigenze specifiche del sistema legale indiano, Paramanu-Ayn si presenta come uno strumento critico per i professionisti legali, fornendo loro le risorse per affrontare situazioni legali complesse in modo efficiente.

In futuro, ci sono piani per espandere le capacità del modello e possibilmente incorporare testi legali più diversificati, migliorando ulteriormente il suo potenziale e utilità nel campo del diritto.