Controllare la qualità dei dati con SQL

I dati di qualità non sono solo una tabella senza NULL. Deve rispettare le regole necessarie per il suo utilizzo: identificatori univoci, campi obbligatori, valori autorizzati e coerenza tra le fonti.

Una buona query si costruisce in brevi passaggi. Esegui prima il sorgente, aggiungi una trasformazione, osserva il risultato, quindi solo la clausola successiva.

In ambito professionale, questa tecnica viene utilizzata in particolare per garantire un'importazione, convalidare un indicatore prima della pubblicazione o monitorare la coerenza tra due sistemi. Tuttavia, una query non è affidabile solo perché viene eseguita: è necessario collegare ogni clausola a una regola aziendale, specificare cosa rappresenta una riga e verificare che il punto, le esclusioni e i valori mancanti vengano elaborati volontariamente.

Una colonna di stato contiene `paid`, `PAID`, uno spazio finale e un valore sconosciuto. Una data impossibile o un'e-mail mal formata possono essere silenziosamente ignorati da un'analisi eccessivamente ottimistica.

Mantieni il valore grezzo, crea un valore normalizzato separato e classifica ciascuna anomalia in base alla regola. Un rapporto sulla qualità dovrebbe misurare la copertura, l'unicità, la validità e la coerenza tra le colonne.

Confronta prima/dopo la normalizzazione, non sostituire automaticamente un valore ambiguo e pubblicare il numero di record restituiti esclusi da ciascun KPI.

Trasformare un vincolo di unicità in un controllo misurabile.

Produrre un tasso di qualità da volumi espliciti.

Confronta due totali indipendenti in un'unica riga di controllo.

Distinguere una data mancante da una stringa o uno stato vuoto.

Rendi visibili i periodi assenti prima di calcolare l'evoluzione e la media mobile.

Scegli una linea di posta elettronica canonica nonostante date identiche e fonti multiple.

Scopri perché uno join con tag aumenta le entrate, quindi ricostruisci il KPI.

Profilare le anomalie, definire le regole di validità e calcolare un KPI tracciabile.

Scegli il tuo metodo per confrontare reddito netto e rimborsi.