L’analisi dei dati, utilizzando opportuni algoritmi e scrivendo linee di programma, diventa poi ciò che viene chiamato “Machine Learning”, che costruisce sistemi informatici, cercando di applicare le leggi fondamentali dei processi di apprendimento.

I dati possono essere quantitativi o qualitativi. Comprendere la differenza fra questi due è molto importante, perché vengono trattati e analizzati in modi diversi.

I dati quantitativi includono quelli che possono essere espressi come numeri, che quindi possono essere misurati, contati e analizzati attraverso calcoli statistici. Possono essere utilizzati per descrivere e analizzare un fenomeno, al fine di scoprire tendenze, confrontare differenze ed eseguire previsioni. Spesso sono già strutturati, quindi è abbastanza facile eseguire ulteriori analisi.

Includono sia i dati continui, che possono assumere qualsiasi valore numerico, come la temperatura, sia i dati discreti, che possono assumere solo determinati valori, come i numeri di scarpe.

I dati qualitativi non possono essere misurati attraverso tecniche di calcolo standard, perché esprimono sentimenti, sensazioni ed esperienze. Possono però essere utilizzati per comprendere nuovi aspetti di un fenomeno. Spesso i dati qualitativi non sono strutturati, quindi richiedono tecniche particolari per estrarre informazioni significative e necessitano di interpretazioni, ad esempio la “sentiment analysis”.

Exploratory Data Analysis (EDA), un termine coniato dal famoso statistico John Tukey, è una tecnica per comprendere e sviluppare una visione di insieme di dati prima di iniziarne l'indagine approfondita. Nell'EDA, le tecniche statistiche sono utilizzate per descrivere le caratteristiche dei dati quantitativi al fine di generare ipotesi iniziali. Spesso i dati non sono in formati omogenei fra loro, ad esempio xlsx, csv, json…, il passo successivo è quindi quello di ricombinarli in un’unica forma.

Ci sono più modi per farlo, si può provare manualmente usando Excel ma uno dei modi più efficienti e veloci è quello di farlo con una libreria in python, ad esempio pandas.

Non appena si riceve un nuovo set di dati si vanno a ricercarne le proprietà e gli eventuali problemi, come dati mancanti o valori al di fuori dei campi attesi. Si utilizzano strumenti di Statistica Descrittiva, ovvero il calcolo di alcune misure di frequenza, di tendenza (media, mediana, moda) e di variabilità (massimo, minimo, varianza).

Si utilizza inoltre un’interpretazione qualitativa per comprendere il contesto dei dati stessi, per ricercare informazioni utili.

Una volta compresa la struttura tramite grafici di distribuzione, di boxplot, che mettono in evidenza la mediana ed i valori estremi, e di heatmap per le correlazioni, si ragiona sulle azioni per razionalizzare il database. Ogni distribuzione dei dati, dal punto di vista statistico, e? diversa e ha bisogno di un modo unico di preelaborazione.

Se ci sono dati mancanti, si hanno diverse possibilità a disposizione, ad esempio sostituirli con la media e/o la mediana della serie oppure eliminarli o addirittura utilizzare alcune funzioni di Machine Learning per ipotizzarli. Esistono vari tipi di dati mancanti, ad esempio i Missing Completely At Random (MCAR): non ci sarà alcuna relazione tra i dati mancanti e quelli osservati. In questo caso possiamo semplicemente rimuovere tutti i valori mancanti. Oppure i Missing Data Not At Random (MNAR): ci sarà qualche relazione tra i dati mancanti e quelli osservati, dobbiamo gestire i valori mancanti sostituendoli con altri valori. Decidere se sostituire o addirittura cancellare i valori con dati mancanti è un processo lungo e complesso.

A seconda di quali algoritmi utilizzeremo, potrebbe essere necessaria un’operazione di normalizzazione o standardizzazione dei valori per ricondurli tutti allo stesso ordine di grandezza. Questi processi sono richiesti per non dare più importanza ad una variabile rispetto ad un’altra, perché in questi casi la colonna con valori più grandi influenzerà maggiormente il risultato. 

Ovviamente, se è di nostro interesse, possiamo fare il contrario, enfatizzarne una o più, anche combinando le variabili fra loro. 

Vediamo gli effetti della standardizzazione nel grafico boxplot 2: rispetto boxplot 1, la media si parametrizza sullo zero e si riconoscono meglio i valori estremi (outlier). 

Per effettuare l’analisi, il computer deve essere in grado di apprendere modelli. Le due categorie più comuni di compiti sono l'apprendimento supervisionato e l'apprendimento non supervisionato.

L'apprendimento supervisionato include attività per dati "etichettati", ovvero si dispone di dati obiettivo. Viene utilizzato spesso come modellazione predittiva, quindi per “indovinare” un certo risultato. Ogni osservazione deve essere etichettata con una "risposta corretta”. Si può quindi costruire un modello predittivo visto che l'algoritmo sa che cosa è corretto, quindi è "supervisionato".

La regressione è l'attività supervisionata per creare modelli con variabili continue (quindi ad esempio prezzi, misure o grandezze numeriche) mentre la classificazione si usa per le variabili categoriche, ad esempio uomo-donna, caldo-freddo, funziona-non funziona….

L'apprendimento non supervisionato include attività per dati "non etichettati", ovvero non si conosce a priori una categorizzazione dei dati. In pratica viene spesso utilizzato come forma di analisi automatizzata dei dati per definire dei raggruppamenti con certe caratteristiche comuni. I dati senza etichetta non hanno una "risposta corretta" predeterminata, quindi si consente all'algoritmo di apprendere direttamente i modelli dai dati senza "supervisione". Il “clustering” è l'attività di apprendimento senza supervisione più comune e serve per trovare gruppi e relazioni all'interno dei dati, ad esempio clienti di un supermercato che acquistano certi prodotti.

L’elemento essenziale rimane la qualità dei dati. Gli americani dicono: “Garbage In = Garbage Out”, ovvero se i dati valgono poco, non si otterrà nulla, indipendentemente dagli algoritmi utilizzati.

I “data scientist” di professione trascorrono la maggior parte del loro tempo ad analizzare e comprendere i dati, pulirli e prepararli prima di sottoporli agli algoritmi.

Nel prossimo articolo affronteremo i principali algoritmi utilizzati.