Data Wrangling e Data Cleaning: che cosa sono e in che cosa si differenziano
Redazione BacktoWork 05/04/2022
Due attività cruciali nell’universo dei big data: le tecnica per la loro raccolta, la loro “pulizia” e la loro organizzazione per renderli fruibili al decision making al servizio del business
È possibile impostare nuovi business partendo dai dati che si raccolgono? I giganti di internet stanno facendo proprio così. E, dal loro esempio, anche le realtà di dimensioni medie e piccole, possono utilizzare le grandi moli di dati acquisite nel corso delle loro attività per ottimizzare la gestione dei loro affari.
I settori che trainano la richiesta di analisti dei dati, sono il fintech, e il bancario più in generale, l’assicurativo, le aziende di servizi, le società di marketing, il mondo dei media, l’e-commerce, e le imprese impegnate nella ricerca e nello sviluppo.
Nella routine di ogni buon data analyst, ci sono due attività preliminari, entrambe molto importanti, che vengono definite data wrangling (gestione dei dati), il processo che permette di radunare e governare i dati, e data cleaning (pulizia dei dati) che, invece, prevede il loro riordino e, appunto, la loro pulizia.
Due fasi imprescindibili
Durante il data wrangling si preparano i dati per l'analisi. In genere, questo significa prendere i dati originali e convertirli in dati ordinati. Poiché spesso sono disseminati in database, file, archivi vari, è necessario che vengano radunati e governati al fine di avere una chiave di lettura univoca. Ciò avviene mediante un processo di mappatura da dati grezzi in un nuovo “insieme” con l’intento di rendere più facili le successive attività.
Per il data cleaning, al contrario, si cerca di individuare nei dati valori che non sembrano essere validi rispetto alle caratteristiche dell'intero set. È anche questo un lavoro fondamentale, poiché i dati raramente sono pronti per le analisi, e quasi sempre ci sono errori e occorre effettuare una pulizia accurata usando strumenti semi-automatici. Nel processo rientrano anche le attività di rilevamento e rimozione di record danneggiati o imprecisi.
