Onlangs deden we een ketentest met een nieuw geautomatiseerd workflow proces. Tot dusverre was dit een handmatig proces, maar nu werden drie applicaties gekoppeld. Prompt viel 30% van de testorders uit vanwege gegevensinconsistenties. Geen verrassing eigenlijk als je weet dat 30% van de gegevens in een gegevensvastlegging niet betrouwbaar is, wanneer je geen gegevenshygiëne toepast.
Hygiëne omvat handelswijzen en handelingen om schoon en gezond te blijven. Dat kun je ook toepassen op gegevens die in bedrijfsprocessen verwerkt worden. Gegevenshygiëne gaat om het schoon en gezond en daarmee betrouwbaar houden van gegevens.
Een gegeven doet een uitspraak over de werkelijkheid. Schone gegevens doen ware uitspraken over de werkelijkheid: de werkelijkheid is overeenkomstig hetgeen het gegeven erover zegt. Schone gegevens zijn betrouwbaar. Schone gegevens dragen bij aan effectiviteit en efficiëntie.
Vervuilde gegevens zijn niet betrouwbaar. Wat het gegeven over de werkelijkheid zegt, klopt niet met die werkelijkheid. Wanneer je bij een procesbewerking vervuilde gegevens gebruikt, heb je kans op misverstanden en uitval. Dat geeft een procesontsteking: gedoe, extra werk en opwinding: proceskoorts.
Wanneer de gegevensvervuiling niet ontdekt wordt, krijg je een besmetting. De nieuw gecreëerde situatie wordt met vervuilde gegevens vastgelegd, en die is dan ook niet betrouwbaar. Zo kan zich vervuiling verspreiden. De efficiëntie van een bedrijfsproces neemt af. Kritische beslissingen op basis van vervuilde gegevens kunnen desastreus zijn.
Wanneer is een gegeven vervuild? Wanneer de uitspraak die het gegeven over de werkelijkheid doet, niet (meer) juist is. Bijvoorbeeld:
- Een gegevens is verouderd wanneer de werkelijkheid is veranderd en het gegevens niet is geactualiseerd.
- Bij het vastleggen of actualiseren van een gegeven kan een invoerfout gemaakt zijn.
- Bij het afronden van een processtap is een gegeven niet geactualiseerd.
- Uit de aanduiding van een invoervak is soms niet duidelijk wat als gegeven gevraagd wordt.
- Soms dwingt een invoerscherm tot een categoriekeuze die niet past bij de voorliggende situatie.
Gegevenshygiëne vraagt bewustzijn, handelswijzen en voorzieningen bij het gebruiken en verwerken van gegevens, net als hygiëne in de gezondheidszorg, horeca en milieu.
Bewustzijn is weten waarvoor de gegevens gebruikt worden die je onderhanden hebt, over welke werkelijkheid de gegevens uitspraken doen, wat hun herkomst (eigenaar) en houdbaarheidsdatum is, en hoe je gegevensvervuiling herkent.
Handelswijzen zijn bijvoorbeeld check op geldigheid en compleetheid van gegevens voordat je ze gebruikt ('clean order check'). En het melden van gegevensvervuiling wanneer je die zelf niet kunt schonen. Vergelijk dit met hygiëne protocollen in de gezondheidszorg en schoonmaak, HACCP in de voedselbereiding en sociale hygiëne in de horeca.
Bewustzijn en handelswijzen vragen voorzieningen en infrastructuur voor het ondersteunen van gegevenshygiëne. Bijvoorbeeld:
- een meldpunt voor eerste hulp bij gegevensvervuiling,
- (e-)learning af te ronden met een certificaat,
- gegevenskwaliteitsmetingen,
- gegevensschoningsteam
- standaardisatie van ketenbrede gegevens
- audits op gegevensontwerpen van ICT ontwikkelteams
- governance
Gegevenshygiëne komt niet vanzelf. Het vraagt regelgeving en voorzieningen. Het vraagt om preventie, correctie en standaardisering. De kosten van gegevensvervuiling zijn niet verwaarloosbaar. Schattingen wijzen op meer dan 10% van de bedrijfsomzet. Voorkomen is beter dan genezen. Zie de Datameester cirkel.
