Metode og kilder: Sådan vurderer du datakvalitet

Start med formålet: Hvad skal data kunne?

Datakvalitet er ikke en fast størrelse, der kan måles én gang for alle. Det samme datasæt kan være fuldt ud anvendeligt til ét formål og ubrugeligt til et andet. Derfor starter enhver kvalitetsvurdering med spørgsmålet: Hvad skal data konkret løse?

Før du kaster dig over tallene, bør formålet omsættes til konkrete spørgsmål: Hvilke enheder skal beskrives? Hvilken periode? Hvor fint skal oplysningerne kunne opdeles? Hvilke beslutninger skal resultatet understøtte? Kravene er ikke de samme, hvis data skal bruges til løbende monitorering, til planlægning eller til forskning.

I et patientforløb er formålet ofte at kunne vurdere kvalitet og sammenhæng over hele forløbet og på tværs af aktører. Det stiller bl.a. krav om, at oplysningerne kan følges fra én del af forløbet til den næste, og at de ikke kun beskriver enkelte, afgrænsede indsatser.

Brug formålet som et filter gennem hele vurderingen. Hvis kilden slet ikke kan besvare dine spørgsmål, er det ikke nødvendigvis en kvalitetsfejl ved kilden – det kan være et mismatch mellem data og opgave. Det er vigtigt at kunne skelne mellem de to situationer.

Steg i vurdering af datakvalitet

Kend kilden og dens kvalitetsprincipper

Første skridt er at afklare, hvem der reelt står bag tallene: en statslig institution, en styrelse, et nationalt register eller en privat aktør? Danmarks Statistik beskriver sig selv som en statslig institution, hvis statistiske produktion følger faste principper for metode, offentliggørelse og kvalitet. Den slags oplysninger er et naturligt første filter.

Undersøg dernæst, om kilden indgår i den officielle statistik eller i et nationalt register. Sundhedsdatastyrelsen offentliggør for eksempel løbende tal og analyser med udgangspunkt i data fra de nationale sundhedsregistre, og disse tal og analyser bruges blandt andet til monitorering, planlægning og forskning. At en kilde er en del af en fast, offentlig produktion, siger noget om, at der findes etablerede rutiner for metode og offentliggørelse.

Læs kildens egen beskrivelse af sin rolle, sit formål og sit ansvar. Sådanne beskrivelser fortæller, om kilden er sat i verden for at producere statistik og data til offentlig brug, eller om tallene er et biprodukt af en anden opgave. Det har betydning for, hvilke krav du med rimelighed kan stille.

Et praktisk greb er at skelne mellem tre led: hvem der indsamler, hvem der behandler, og hvem der offentliggør. Er de tre led dokumenterede, ved du også, hvor du skal stille spørgsmål, hvis der opstår uklarhed.

Læs metoden, ikke kun tallene

Et tal uden metodebeskrivelse er svært at bruge som beslutningsgrundlag. Efterspørg derfor dokumentation for, hvordan oplysningerne er indsamlet, hvordan de centrale begreber er defineret, og hvordan resultaterne er opgjort og offentliggjort.

Typisk er det værd at bede om en beskrivelse af population og enheder, en definition af de variable, du skal bruge, oplysninger om opgørelsesperiode og tidspunkt for offentliggørelse samt en beskrivelse af, hvordan data er behandlet undervejs. Bed også om at få oplyst, om tallene efterfølgende revideres, og hvordan det i givet fald sker.

Vurder derefter, om metoden er gennemsigtig nok til, at du kan forstå og efterprøve resultaterne. Kan en kollega med samme faglige baggrund følge vejen fra indsamling til tal? Hvis ikke, bør resultatet ikke stå alene som grundlag for en beslutning.

Vær opmærksom på forskellen mellem datakvalitet og formidlingskvalitet. Et veldokumenteret datasæt kan være dårligt formidlet, og en pæn graf kan dække over en uklar metode. Vurderingen skal dække begge dele.

Brug kvalitetskriterier som tjekliste

For officiel statistik findes der et dansk rammeværk, du kan bruge systematisk. Med udgangspunkt i de europæiske principper har Danmarks Statistik opstillet 16 danske retningslinjer med 44 underliggende kriterier. Retningslinjerne er offentliggjort under titlen »Retningslinjer for officiel statistik« og er dateret 1. juli 2018.

Rammeværket er nyttigt, fordi det løfter vurderingen fra enkeltstående fornemmelser til en række punkter, du kan gå igennem på samme måde hver gang. Gå til kilden for den præcise ordlyd af de enkelte retningslinjer og kriterier, så du ikke vurderer ud fra en sammenfattet gengivelse.

Formålet bag den type rammeværk er bredt formuleret: Statistik skal bidrage til, at beslutninger på alle niveauer i samfundet kan ske på grundlag af troværdig og objektiv information. Det gælder også, når du som fagperson skal træffe beslutninger i en konkret opgave.

Brug kriterierne som tjekliste snarere end som facitliste. En kilde kan leve op til nogle kriterier og ikke til andre. Det vigtige er, at du kan dokumentere, hvilke punkter du har undersøgt, og hvad du fandt.

Checkliste til vurdering af datakvalitet

Særlige hensyn til sundhedsdata

Sundhedsdata har nogle særlige forhold, der bør indgå i vurderingen. Sundhedsdatastyrelsen definerer sundhedsdata som oplysninger om patienters helbred og behandling – eksempelvis oplysninger om blodprøvesvar, diagnose, indlæggelse, operation, medicin og genoptræning.

For patientorganisationen Danske Patienter er deling af sundhedsdata en forudsætning for kvalitet og patientsikkerhed. Organisationen peger på, at når oplysninger ikke følger patienten på tværs af aktører i sundhedsvæsenet, øges risikoen for usammenhængende forløb og fejl. Data skal efter dette syn deles og anvendes, så de understøtter sammenhængende patientforløb, høj kvalitet og bedre behandling – med klare rammer for sikkerhed, gennemsigtighed og patientinddragelse.

Danske Patienter understreger også, at patienters villighed til at dele data bygger på tillid. Derfor er det afgørende, at data anvendes sikkert og transparent, og at det er tydeligt, hvem der bruger data – og til hvilke formål. Organisationen fremhæver fuld transparens om anvendelsen af data, blandt andet gennem logning og tydelig information, samt at patienter skal kunne tilgå egne sundhedsdata og have mulighed for at styre, hvordan de deles.

Et sidste punkt handler om, hvad kvaliteten måles på. Danske Patienter arbejder for, at patientrapporterede oplysninger i højere grad indgår i centrale kvalitetsindikatorer og bruges aktivt til at udvikle kvaliteten i sundhedsvæsenet, og for at kvalitetsudvikling tager udgangspunkt i hele patientforløbet frem for enkelte sektorers indsatser. Det er relevant at holde sig for øje, når du vurderer, om et datagrundlag reelt belyser kvaliteten af et forløb.

Fordele og ulemper ved at bruge sundhedsdata fra nationale registre

Brugskontekst: fra data til beslutning

Det sidste skridt i vurderingen er at afklare, om data bruges til det formål, de er indsamlet til. Data indsamlet til løbende monitorering er ikke automatisk egnede til forskning, og data indsamlet til administration er ikke automatisk egnede til kvalitetsvurdering. Formålet med den oprindelige indsamling sætter grænser for, hvad materialet kan bære.

Sundhedsdatastyrelsen oplyser, at de nationale sundhedsregistre danner grundlag for tal og analyser, der blandt andet bruges til monitorering, planlægning og forskning – altså flere forskellige anvendelser med hver sine krav til detaljeringsgrad, aktualitet og dokumentation. Spørg derfor konkret, hvilken af disse anvendelser dit spørgsmål tilhører.

Gør det tydeligt i din egen formidling, hvad materialet kan understøtte, og hvad det ikke kan. Skriv forbeholdene ned sammen med konklusionen, og angiv hvilke antagelser der er gjort undervejs. Det er med til at sikre, at beslutninger træffes på et troværdigt og objektivt grundlag.

Dokumentér til sidst dine egne valg: hvilke kilder du brugte, hvilke kriterier du lagde vægt på, og hvad du valgte at se bort fra. Så kan andre følge vurderingen og gentage den, når tallene opdateres.

Anvendelsesområder for nationale sundhedsregistre