Sfide e Successi nei Progetti di Data Science
Esplora i fattori che influenzano il successo dei progetti di data science e come migliorare i risultati.
― 7 leggere min
La Data Science è una parte fondamentale di molte aziende oggi. Aiuta le aziende a fare scelte intelligenti e affrontare le sfide in modo più efficace. Automatizza anche alcune attività aziendali usando vari algoritmi. Tuttavia, nonostante l'importanza della data science, molti progetti non raggiungono i loro obiettivi. Questo articolo esplorerà perché i progetti di data science falliscono e darà qualche suggerimento su come migliorare il loro successo.
Fattori Chiave che Influenzano i Progetti di Data Science
Ci sono diversi fattori importanti che influenzano il risultato dei progetti di data science. Tra questi ci sono la disponibilità dei dati, la potenza dei sistemi di elaborazione e gli algoritmi utilizzati. Anche se ora ci sono più dati che mai e la potenza di elaborazione è cresciuta significativamente, molti progetti continuano a non avere successo.
Sfide nei Progetti di Data Science
Ci sono due principali prospettive da considerare quando si guarda al perché i progetti di data science falliscono: le sfide tecniche e le prospettive dei leader aziendali o degli stakeholder.
Sfide Tecniche
Le sfide tecniche sorgono spesso durante la raccolta, l'elaborazione e l'analisi dei dati. Un problema comune è la qualità dei dati. A volte, i dati raccolti sono irrilevanti o non puliti, portando a risultati scadenti. Se le fonti di dati intermedie non corrispondono agli obiettivi aziendali, possono creare ulteriori problemi. Inoltre, i big data possono introdurre errori significativi che influiscono sulla qualità complessiva dei dati utilizzati per l'analisi.
Prospettive degli Stakeholder
Dal punto di vista aziendale, gli stakeholder spesso hanno aspettative diverse rispetto a quanto possono fornire i data scientist. Un divario di comprensione può portare a aspettative non soddisfatte. Questo divario di comunicazione è un fattore significativo nel fallimento del progetto. Gli stakeholder potrebbero non avere un'idea chiara di cosa può realizzare la data science o potrebbero non sapere come esprimere efficacemente le loro esigenze.
Importanza della Conoscenza del Settore
Il successo di un progetto di data science può dipendere fortemente dal settore specifico. Per esempio, un modello che prevede il comportamento dei clienti nella vendita al dettaglio è probabilmente più efficace di un modello usato per rilevare frodi nel settore bancario. Comprendere i requisiti specifici del settore aziendale è fondamentale per il successo.
Ciclo di Vita dei Progetti di Data Science
Il ciclo di vita tradizionale per i progetti di data science è conosciuto come CRISP-DM (Cross-Industry Standard Process for Data Mining). Anche se questo modello è stato utile, è un po' obsoleto nel mondo frenetico di oggi. Molte pratiche di data science seguono ancora questo modello, che prevede diversi passaggi come comprensione del business, comprensione dei dati, preparazione dei dati, modellazione, valutazione e distribuzione. Tuttavia, molte cose possono andare storte in qualsiasi fase di questo processo.
Processi Ripetuti
Come nei progetti di ricerca, la data science spesso comporta processi ripetitivi. Questi sono necessari per affinare i risultati e garantire che soddisfino gli obiettivi aziendali stabiliti. Durante le fasi ripetute di comprensione del business e dei dati, vengono effettuati aggiustamenti per allinearsi alle aspettative.
Cambiamenti nella Data Science
Il campo della data science è evoluto significativamente nell'ultimo decennio. I progressi nei metodi di raccolta dei dati, nelle tecniche di elaborazione e negli algoritmi hanno trasformato il modo in cui i dati vengono analizzati. Nuove tecnologie consentono una migliore gestione dei dati con alto volume, velocità e varietà, noti come big data. Di conseguenza, ci sono ancora molte sfide, come gestire dati irrilevanti e non puliti e garantire che la logica aziendale corretta si allinei con gli obiettivi del progetto.
Problemi di Qualità dei Dati
La qualità dei dati rimane una sfida comune nei progetti di data science. Molti team possono trascurare di risolvere i problemi di qualità a favore di concentrarsi su deliverable misurabili, portando a potenziali problemi a lungo termine. La qualità dei dati coinvolge aspetti come precisione, coerenza e completezza. Una scarsa qualità dei dati può far deragliare un progetto anche se il modello è robusto.
Il Ruolo degli Stakeholder
Gli stakeholder giocano un ruolo significativo nel successo dei progetti di data science. Devono essere coinvolti durante tutto il processo, dalle fasi iniziali di comprensione del problema aziendale fino alla distribuzione finale della soluzione. Una comunicazione efficace e una gestione delle aspettative con gli stakeholder è essenziale. In molti casi, allineare gli interessi di entrambe le parti può fare una differenza sostanziale.
Comprensione del Problema Aziendale
Comprendere il problema aziendale è un passo vitale in qualsiasi progetto di data science. Una comunicazione efficace con gli stakeholder può migliorare la comprensione di ciò che l'azienda mira a realizzare. Definire correttamente gli obiettivi aziendali e i risultati attesi può migliorare significativamente le possibilità di successo.
Collaborazione tra Reparti
La collaborazione tra reparti è un altro fattore critico. Se i vari reparti coinvolti non lavorano insieme in modo efficace, anche i modelli di successo potrebbero non dare risultati per l'organizzazione. Gli stakeholder di diversi team devono essere allineati per garantire una transizione fluida dai risultati della data science alle applicazioni aziendali reali.
Gestione del cambiamento
Molti progetti di data science mirano ad automatizzare i processi, e questo può portare a resistenze da parte dei dipendenti che possono sentirsi minacciati dai cambiamenti. La gestione del cambiamento è fondamentale per aiutare le persone ad adattarsi ai nuovi sistemi. Coinvolgere i team all'inizio e illustrare come i nuovi processi porteranno beneficio al loro lavoro può aiutare ad alleviare le preoccupazioni.
Governance dei Dati
La governance dei dati è diventata sempre più importante a causa di regolamenti come il GDPR. Coinvolgere i team di governance dei dati all'inizio del progetto aiuta a identificare potenziali ostacoli. Garantire la conformità agli standard di privacy dei dati può prevenire problemi futuri ed è essenziale per una corretta implementazione del progetto.
Raccomandazioni per il Successo
Sulla base delle sfide menzionate, ci sono diversi ambiti chiave che possono essere migliorati per aumentare il tasso di successo dei progetti di data science:
Gestione degli Stakeholder: Costruire relazioni solide con gli stakeholder e mantenere aperti i canali di comunicazione. Definire chiaramente ruoli e aspettative per allineare gli obiettivi.
Miglioramenti della Qualità dei Dati: Allocare tempo per affrontare i problemi di qualità dei dati. Investire in migliori metodi di raccolta dei dati e creare archivi dati centralizzati può migliorare la disponibilità di dati puliti.
Incorporare la Conoscenza del Settore: Coinvolgere esperti del settore all'inizio del progetto per garantire che il team di data science comprenda appieno il contesto aziendale e le esigenze.
Favorire la Collaborazione tra Reparti: Identificare tutti i reparti che saranno influenzati dal progetto e garantire il loro coinvolgimento durante tutto il processo. Condividere i piani di distribuzione in anticipo può aiutare a mitigare i problemi più avanti.
Gestione Efficace del Cambiamento: Creare una strategia per la gestione del cambiamento. Un coinvolgimento precoce con tutte le parti interessate può contribuire a facilitare la transizione e a costruire fiducia nei nuovi processi.
Affrontare la Governance dei Dati Presto: Assicurarsi che le politiche di governance dei dati siano considerate fin dall'inizio del progetto. Discussioni anticipate possono prevenire ritardi successivi e aiutare a trovare soluzioni conformi.
Conclusione
I progetti di data science hanno un grande potenziale per le aziende, ma comportano anche le loro sfide. Riconoscendo e affrontando i comuni ostacoli, le organizzazioni possono migliorare le possibilità di successo. Una comunicazione forte, un focus sulla qualità dei dati, collaborazione e una comprensione del settore aziendale, insieme a strategie efficaci di gestione del cambiamento, possono aprire la strada a risultati migliori nei progetti di data science.
Titolo: Why Data Science Projects Fail
Estratto: Data Science is a modern Data Intelligence practice, which is the core of many businesses and helps businesses build smart strategies around to deal with businesses challenges more efficiently. Data Science practice also helps in automating business processes using the algorithm, and it has several other benefits, which also deliver in a non-profitable framework. In regards to data science, three key components primarily influence the effective outcome of a data science project. Those are 1.Availability of Data 2.Algorithm 3.Processing power or infrastructure
Autori: Balaram Panda
Ultimo aggiornamento: 2023-08-08 00:00:00
Lingua: English
URL di origine: https://arxiv.org/abs/2308.04896
Fonte PDF: https://arxiv.org/pdf/2308.04896
Licenza: https://creativecommons.org/licenses/by/4.0/
Modifiche: Questa sintesi è stata creata con l'assistenza di AI e potrebbe presentare delle imprecisioni. Per informazioni accurate, consultare i documenti originali collegati qui.
Si ringrazia arxiv per l'utilizzo della sua interoperabilità ad accesso aperto.
Link di riferimento
- https://venturebeat.com/2019/07/19/why-do-87-of-data-science-projects-never-make-it-into-production/
- https://blogs.gartner.com/andrew
- https://doi.org/10.1016/j.isprsjprs.2015.11.006
- https://www.sciencedirect.com/science/article/pii/S0924271615002567
- https://doi.org/10.1214/aoms/1177705148
- https://www.analyticsvidhya.com/blog/2019/08/data-science-leader-guide-managing-stakeholders/
- https://doi-org.ezproxy.auckland.ac.nz/10.1145/3076253
- https://www.jstor.org/stable/24748571
- https://sloanreview.mit.edu/article/to-succeed-with-data-science-first-build-the-bridge/
- https://sloanreview.mit.edu/article/why-so-many-data-science-projects-fail-to-deliver/
- https://doi.org/10.1016/j.eswa.2004.12.038
- https://doi.org/10.1162/99608f92.c2fc310d
- https://hbr.org/2019/07/building-the-ai-powered-organization
- https://journals.sagepub.com/doi/full/10.1177/1096348017753521
- https://doi.org/10.1016/j.ijpe.2014.04.018
- https://www.sciencedirect.com/science/article/pii/S0925527314001339
- https://en.wikipedia.org/wiki/General
- https://en.wikipedia.org/wiki/Cross-industry
- https://docs.microsoft.com/en-us/azure/architecture/data-science-process/overview
- https://www.psych.auckland.ac.nz/en/about/thematic-analysis.html
- https://doi.org/10.1191/1478088706qp063oa
- https://documentation.sas.com/doc/en/emref/14.3/n061bzurmej4j3n1jnj8bbjjm1a2.htm
- https://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.58.9085
- https://agilemanifesto.org/