Data cleaning (nettoyage des données)

Que corrige le data cleaning ?

Quatre familles de défauts, dans l'ordre où on les rencontre : les doublons, les formats non conformes, les champs incomplets et les valeurs devenues fausses. Chacune se traite avec une méthode différente, et c'est pourquoi un nettoyage utile se construit à partir d'un diagnostic du fichier plutôt que d'une recette générique.

Quelle différence avec la transformation des données ?

Le nettoyage supprime ou corrige ce qui est faux. La transformation convertit un format brut vers un format de stockage ou d'analyse, sans juger de la véracité. Les deux interviennent souvent dans la même chaîne, mais confondre les deux conduit à croire qu'un fichier correctement mappé est un fichier fiable.

Comment mesurer ce que le nettoyage a apporté ?

En comparant l'avant et l'après sur des indicateurs stables : taux de doublons, taux d'adresses non distribuables, taux de rebond e-mail, taux d'injoignabilité téléphonique. Sans ces mesures, un nettoyage reste une dépense dont personne ne sait ce qu'elle a produit.