Snellire la risoluzione dei problemi software con DEFTri

La triage dei difetti è il processo di identificazione e assegnazione dei problemi (o difetti) che si presentano nei prodotti software, specialmente nell'e-commerce. Quando il software ha problemi, è fondamentale indirizzare rapidamente queste questioni ai team giusti che possono risolverle. Questo processo può essere lento e inefficiente, soprattutto perché spesso si basa su lavoratori umani che devono esaminare molti difetti e capire chi dovrebbe occuparsene.

In grandi aziende come Walmart, molti team lavorano su diverse parti del software, il che significa che indirizzare correttamente i difetti al team giusto è essenziale. Se il processo non è efficiente, può causare ritardi nella risoluzione dei problemi, influenzando la qualità complessiva del prodotto e l'esperienza del cliente.

#La necessità di automazione

A causa delle sfide affrontate nella triage dei difetti, c'è un forte bisogno di soluzioni automatizzate. I metodi tradizionali sono stati lenti e possono essere soggetti a errori. Usare metodi avanzati, come il machine learning, consente di assegnare i difetti in modo più preciso e veloce. Automatizzando il processo di triage dei difetti, le aziende possono utilizzare meglio le loro risorse umane, permettendo loro di concentrarsi su compiti più complessi mentre il software suggerisce automaticamente i team giusti per i problemi.

#Il framework DEFTri

DEFTri è un sistema proposto per automatizzare il processo di triage dei difetti. Usa un modello basato su uno strumento di elaborazione del linguaggio riconosciuto chiamato BERT, che è stato ottimizzato per gestire il contesto specifico dei difetti nel software. Analizzando il linguaggio usato nei report dei difetti, DEFTri può determinare meglio quali team sono più adatti a gestire problemi specifici.

Una delle sfide nella costruzione di DEFTri era ottenere i dati giusti per addestrare il sistema. Il team ha creato un dataset unico da report di difetti reali generati da tester di prodotti. Questo dataset includeva vari tipi di difetti e i team corrispondenti incaricati di risolverli.

#Creazione di dati etichettati

Per addestrare DEFTri in modo efficace, era necessario creare dati etichettati. Questi dati servono come guida per il sistema, indicando quali difetti appartengono a quali team. Raccogliere questi dati etichettati può essere un compito arduo poiché spesso richiede esperti che esaminino molti report di difetti.

Per superare questo ostacolo, il team ha usato un metodo chiamato Supervisione Debole, che consente di creare etichette basate su un insieme di regole o euristiche invece di dover annotare manualmente ogni report. Questo approccio ha contribuito ad accelerare il processo di etichettatura garantendo comunque che il sistema potesse apprendere in modo efficace dai dati generati.

#Migliorare i dati di addestramento con l'Apprendimento Avversariale

Oltre alla supervisione debole, il team ha anche impiegato tecniche di apprendimento avversariale. Questo metodo prevede la creazione di variazioni di report di difetti esistenti per migliorare il dataset di addestramento. Apportando lievi modifiche ai report originali, il team ha potuto generare ulteriori esempi da cui il sistema potesse apprendere, rendendolo più robusto. Questo approccio mira a insegnare al sistema a gestire modi diversi di esprimere lo stesso difetto, aumentando la sua precisione.

#Affrontare gli sbilanciamenti nei dati

Un altro problema emerso durante il processo di raccolta dati è stato lo sbilanciamento dei tipi di difetti. Alcuni tipi di difetti erano molto più comuni di altri, portando a risultati distorti nei dati di addestramento. Per rimediare a questo, è stata utilizzata una tecnica chiamata Multilabel Synthetic Minority Over-sampling Technique (MLSMOTE). Questa tecnica aiuta a bilanciare il dataset aumentando artificialmente la rappresentanza dei tipi di difetti meno rappresentati.

#Design e caratteristiche del sistema

Il framework DEFTri è progettato per elaborare report di difetti e prevedere quali team dovrebbero occuparsene. Usa le caratteristiche uniche di ogni report di difetto per ricavare informazioni significative. Combinando il testo del difetto con le etichette dei team, DEFTri mira a creare una comprensione più completa dei dati.

Il sistema prevede due approcci principali per elaborare queste informazioni. Prima di tutto, può trattare le etichette dei team e i report dei difetti come frasi separate, consentendo al modello di analizzare le loro relazioni. In alternativa, può combinarli in un unico input. Entrambi i metodi sono stati testati per determinare quale producesse risultati migliori.

#Risultati degli esperimenti DEFTri

Quando è stato testato, il sistema DEFTri ha costantemente superato i modelli tradizionali che non integravano lo stesso livello di contesto. L'integrazione delle etichette dei team ha aiutato a migliorare la precisione della classificazione. I modelli che hanno utilizzato un metodo di input combinato (senza separare le etichette dei team) hanno avuto performance migliori, indicando che la struttura dell'input può influenzare significativamente i risultati.

Inoltre, l'aggiunta di dati generati avversarialmente ha migliorato la precisione del modello aumentando la sua comprensione dei diversi tipi di difetti e delle variazioni linguistiche. Tuttavia, l'efficacia di questi miglioramenti dipendeva da come erano strutturati i dati e dall'entità delle modifiche apportate ai report di difetti originali.

#Direzioni future

Sebbene DEFTri mostri risultati promettenti, c'è ancora spazio per miglioramenti. L'uso della supervisione debole può portare a potenziali problemi poiché alcune etichette potrebbero essere errate. Affrontare questa propagazione degli errori è essenziale per migliorare le performance del modello. La ricerca futura esplorerà l'integrazione di tecniche più avanzate, come l'apprendimento contrastivo e l'addestramento avversariale, per affinare ulteriormente il processo di addestramento.

#Conclusione

In generale, la triage automatizzata dei difetti offre notevoli vantaggi per le aziende di e-commerce. Semplificando il processo e indirizzando più rapidamente i problemi ai team appropriati, le aziende possono migliorare la qualità del loro software e aumentare la soddisfazione del cliente. Il framework DEFTri rappresenta un passo avanti nel raggiungimento di questi obiettivi, impiegando tecniche moderne per imparare dai report di difetti reali e prevedere efficacemente le assegnazioni ai team. Man mano che il sistema continua ad evolversi, ha il potenziale per creare soluzioni ancora più robuste per la gestione dei difetti nel mondo frenetico dell'e-commerce.