Les dades són el nostre actiu principal a l’hora de prendre decisions.
La qualitat de les dades és una característica bàsica per a la gestió d’aquestes dades dins de cada entitat. Unes dades de baixa qualitat, tant en origen, com a causa de les transformacions, poden portar a prendre decisions errònies o la pèrdua de confiança.
Què és la qualitat de les dades?
La qualitat de les dades és la mesura en què les dades són adequades per al seu ús previst.
Els components de la qualitat de les dades són:
- Precisió: Les dades han de reflectir correctament la realitat.
- Coherència: Les dades han de ser consistents entre diferents sistemes i al llarg del temps.
- Integritat: Les dades han de ser completes i no han de tenir valors perduts o incorrectes.
- Puntualitat: Les dades han d'estar disponibles quan es necessiten.
- Accessibilitat: Les dades han de ser fàcilment accessibles per als usuaris autoritzats.
- Rellevància: Les dades han de ser pertinents per a les necessitats de l'usuari.
Què fem des de Coopdevs?
Des de Coopdevs dissenyem els sistemes de dades per tal d’assegurar aquesta qualitat de les dades des del seu origen, assegurant que les dades que ens arriben són correctes i completes, fins a l’entrega final, assegurant la consistència de totes les transformacions realitzades.
Com ho fem? DBT i Elementary-data
Dins de l’arquitectura de dades a Coopdevs utilitzem DBT per a les transformacions de dades. DBT permet el mapeig dels diferents orígens de dades, i també la transformació d’aquests en conjunts de dades fàcilment consultables pels usuaris a través de Superset.
DBT permet l’execució de testos per tal de validar que les dades estan actualitzades, i també la consistència i completesa de les dades.
A dins de la definició de cada origen de dades i de cada model podem definir diferents tipus de tests, per exemple:
- Que una columna estigui sempre informada (ex. el nom del client estigui informat).
- Que una columna tingui un format determinat (ex. sigui un número de telèfon correcte).
- Que una columna estigui entre uns valors predefinits (ex. el % de càrrega ha d’estar entre 0 i 100).
Si fem aquests controls abans de la càrrega de dades sobre els orígens de dades podrem assegurar que als nostres conjunts de dades no arriben dades incorrectes o incoherents.
Un cop acabada la càrrega podem validar, amb testos sobre les taules finals, la seva correctesa i completesa.
Recentment, hem incorporat al procés de qualitat de dades Elementary data (https://docs.elementary-data.com), una eina que s’integra totalment al DBT i que permet executar testos de qualitat de dades més complexos dels que permet DBT de forma nativa.
Alguns dels exemples són:
- Detecció d’anomalies en llindars (ex. el volum de vendes d’aquest dilluns és coherent amb les vendes dels darrers 8 dilluns?)
- Detecció d’anomalies en nombre de files entre taules. (ex. la taula final de vendes té les mateixes files que el registre de vendes d’origen?
Podeu trobar molts més exemples a https://www.elementary-data.com/dbt-test-hub
Elementary Data també proporciona un quadre de comandament amb els controls de qualitat, poden analitzar les dades dels testos de forma gràfica.
Des de Coopdevs ens comprometem a l’acompanyament de les vostres entitats a la millor presa de decisions i això també implica comprometre’ns en la qualitat de les dades.