MM041 – Forecast Evaluation for Dummies
Per chi non mastica molto di statistica, il mondo della previsione porta con sé fascino e mistero. Oltre al grande capitolo legato ai diversi metodi di previsione (cioè i modelli da applicare), altri importanti temi da considerare sono le valutazione delle previsioni prodotte dai modelli, per cui la letteratura propone variegati indici di performance. Queste metriche sono presentate con oscuri acronimi e ciascuno di essi riporta un valore di bontà predittiva effettuata dal modello rispetto alla realtà del fenomeno in esame.
Se, per necessità o curiosità, ci si sta avvicinando al mondo del forecasting, inevitabilmente si inciamperà in queste metriche. Per il lettore già luminare del tema il consiglio è di passare oltre, in quanto quella presentata è una guida di base (e ovviamente parziale) agli indicatori di performance delle previsioni.
Il tema comune è lo studio degli errori. Con errore si intende la differenza tra il valore previsto e il valore realmente registrato relativo al fenomeno studiato.
Mean Error (ME)
L’errore medio è talvolta presentato anche come bias, ed è il rapporto tra la somma degli errori e il numero di previsioni effettuate, cioè la media. Il valore desiderabile è prossimo allo zero, si noti però che, non essendo in valore assoluto, una previsione molto generosa (quindi con un errore positivo) e una molto esosa (con errore negativo), in media si compensano. I valori che può assumere sono sia minori che maggiori di zero, dipendentemente dall’entità degli errori: quando si hanno delle sovrastime più importanti, il ME è positivo, quando predominano le sottostime si avrà un ME negativo.
Mean Absolute Error (MAE)
Per superare il problema di compensazione del ME, nell’errore medio assoluto la somma degli errori viene calcolata in modulo o valore assoluto. In questo modo le previsioni molto lontane (positivamente o negativamente) dal valore reale non si compensano ma si sommano. A differenza del ME, i valori che assume il MAE sono sempre positivi, e il modello è migliore tanto più l’indice è vicino a zero. Non essendo scalato sulla media dei valori reali, il MAE presenta un limite di interpretabilità, ad esempio: se la previsione è sulla vendita di pere, di cui si sa che in media vengono vendute 100 unità, un MAE=3 è molto buono. Nel caso in cui invece la media di vendita di pere sia di 10 unità, un MAE=3 indica un modello scadente, non accurato.
Mean Squared Error (MSE)
L’errore quadratico medio si calcola sommando gli errori di previsione elevati al quadrato e dividendo questa somma per il numero di previsioni effettuate. Con questo indice gli errori che più si discostano da zero, cioè i più grandi in valore assoluto, hanno un peso maggiore dovuto all’elevazione al quadrato. Perciò è sufficiente un solo “grande” errore per ottenere un pessimo MSE, ossia un MSE molto alto.
Root Mean Squared Error (RMSE)
La radice dell’errore quadratico medio è la radice quadrata del già presentato MSE, il quale ha il vantaggio di essere facilmente interpretabile. Infatti, i valori assunti dal RMSE non sono quantità a-dimensionali, ma assumono l’unità di misura del fenomeno considerato. Ad esempio, se si valuta la qualità di previsione della vendita di pere, un RMSE=3 significa che l’errore medio è di 3 unità.
Mean Absolute Percentage Error (MAPE)
L’errore medio assoluto percentuale è uno dei KPI più diffusi per la valutazione delle previsioni. Essendo una percentuale è facile da interpretare e confrontare. La confrontabilità è dettata dall’indipendenza del MAPE rispetto alla scala del fenomeno: si possono confrontare i MAPE di modelli che prevedono la vendita di pere (in unità) e la vendita di noci (al kilo). Tornando alla vendita di pere, un MAPE=3% significa che le previsioni possono sbagliare in media del 3% rispetto al valore reale. Una debolezza del MAPE è legato al campo in esame, infatti nei casi in cui la presenza di zeri è molto elevata il MAPE assume valori infiniti o indefiniti, il che non lo rende una metrica applicabile massivamente a tutti i fenomeni.
Mean Absolute Scaled Error (MASE)
Il più giovane tra i misuratori che sono stati presentati è l’errore scalare medio assoluto. Il calcolo è forse il più complesso: si tratta della media in valore assoluto degli errori scalari (un valore che rende confrontabili anche due fenomeni con scale diverse) delle previsioni. Il MASE definisce la bontà del modello confrontando le previsioni ottenute e quelle prodotte con un modello naïve, dove per naïve si intende un modello che si mantiene attorno alla media (qui per degli approfondimenti). L’interpretazione è molto semplice: valori più grandi di 1 indicano che la previsione con il metodo naïve per il periodo successivo calcolato all’interno del campione è migliore rispetto a quella proposta dal modello in esame. Un valore minore di 1 indica che il modello che si sta valutando ha in media un errore minore rispetto a quello del modello naïve, perciò è preferibile.
Gli indicatori riportati sono i più famosi, sicuramente non tutti. Non sono stati volutamente presentati in termini matematici, come non sono state riportate nemmeno le eleganti proprietà di cui alcuni di essi godono, ad esempio a livello di derivata.
L’obiettivo di queste poche righe è quello di dare un’idea di ciò che si cela dietro ai KPI per la valutazione di un modello predittivo per i non addetti ai lavori. Per degli approfondimenti e per una lettura più elegante rispetto a quella proposta in queste poche righe, il rimando è a al paper di Rob J. Hyndman, fonte principale di ciò che è stato qui riportato.
Altre fonti:
https://core.ac.uk/download/pdf/82178886.pdf
https://towardsdatascience.com/forecast-kpi-rmse-mae-mape-bias-cdc5703d242d
Vuoi saperne di più? Contattaci!
(Banner image by Gerd Altmann from Pixabay)
