Metode og kilder: Sådan vurderer du datakvalitet

Start med formålet: Hvad skal data kunne?

Datakvalitet er ikke en fast størrelse, man kan måle én gang for alle. Samme datasæt kan være fuldt ud anvendeligt til ét formål og ubrugeligt til et andet. Start derfor enhver kvalitetsvurdering med: Hvad skal data konkret løse?

Oversæt formålet til konkrete spørgsmål, før du ser på tallene. Hvilke enheder skal beskrives, hvilken periode, og hvor fint skal oplysningerne kunne opdeles? Hvilke beslutninger skal resultatet understøtte? Kravene er ikke de samme til løbende monitorering, planlægning eller forskning.

I et patientforløb er formålet ofte at vurdere kvalitet og sammenhæng over hele forløbet og på tværs af aktører. Det kræver blandt andet, at oplysningerne kan følges fra én del af forløbet til den næste, og at de ikke kun beskriver enkelte, afgrænsede indsatser.

Brug formålet som filter gennem hele vurderingen. Kan kilden slet ikke besvare dine spørgsmål, er det ikke nødvendigvis en kvalitetsfejl ved kilden – det kan være et mismatch mellem data og opgave. Skeln mellem de to situationer.

Et brugbart nøglebegreb er »fitness for use«: data skal passe til den konkrete brugssituation. ISO 25012 definerer datakvalitet som graden af tilfredsstillelse af udtrykte og underforståede behov, datas egenskaber giver ved brug under specifikke omstændigheder. Det gør formålet til det første kriterium, du bør skrive ned.

Trin 1 er at formulere formålet som en kort kravspecifikation: beslutning, målgruppe, periode, enheder og nødvendig detaljeringsgrad. Så bliver kvalitetskravene konkrete.

Kend kilden og dens kvalitetsprincipper

Afklar først, hvem der reelt står bag tallene: en statslig institution, en styrelse, et nationalt register eller en privat aktør? Danmarks Statistik beskriver sig selv som en statslig institution, hvis statistiske produktion følger faste principper for metode, offentliggørelse og kvalitet. Det er et naturligt første filter.

Undersøg dernæst, om kilden indgår i den officielle statistik eller i et nationalt register. Sundhedsdatastyrelsen offentliggør for eksempel løbende tal og analyser med udgangspunkt i data fra de nationale sundhedsregistre. Tallene og analyserne bruges blandt andet til monitorering, planlægning og forskning. En fast, offentlig produktion viser, at der findes etablerede rutiner for metode og offentliggørelse.

Læs kildens egen beskrivelse af rolle, formål og ansvar. Den viser, om kilden er sat i verden for at producere statistik og data til offentlig brug, eller om tallene er et biprodukt af en anden opgave. Det påvirker, hvilke krav du med rimelighed kan stille.

Skel mellem tre led: hvem der indsamler, hvem der behandler, og hvem der offentliggør. Er de tre led dokumenterede, ved du, hvor du skal stille spørgsmål, hvis der opstår uklarhed.

Når flere organisationer indgår, så notér, hvem der er dataansvarlig, og hvor du kan få afklaret spørgsmål om metode og kvalitet. Det gør ansvarsfordelingen tydelig.

Trin 2 er at skrive ned, hvem der indsamler, behandler og offentliggør data, og hvem der har ansvaret for hvert led.

Læs metoden, ikke kun tallene

Et tal uden metodebeskrivelse er svært at bruge som beslutningsgrundlag. Efterspørg derfor dokumentation for, hvordan oplysningerne er indsamlet, hvordan de centrale begreber er defineret, og hvordan resultaterne er opgjort og offentliggjort.

Bed typisk om en beskrivelse af population og enheder, en definition af de variable, du skal bruge, oplysninger om opgørelsesperiode og tidspunkt for offentliggørelse samt en beskrivelse af, hvordan data er behandlet undervejs. Bed også om at få oplyst, om tallene efterfølgende revideres, og hvordan det i givet fald sker.

Vurder derefter, om metoden er gennemsigtig nok til, at du kan forstå og efterprøve resultaterne. Kan en kollega med samme faglige baggrund følge vejen fra indsamling til tal? Hvis ikke, bør resultatet ikke stå alene som grundlag for en beslutning.

Vær opmærksom på forskellen mellem datakvalitet og formidlingskvalitet. Et veldokumenteret datasæt kan være dårligt formidlet, og en pæn graf kan dække over en uklar metode. Vurderingen skal dække begge dele.

En metodebeskrivelse kan tage form af en deklaration af datasættet. Fællesoffentlig Digital Arkitektur har en vejledning til deklaration af datasæt med kernedimensioner, der angiver oplysninger om datakvalitet i et udstillet datasæt. Den skal lette dialogen mellem den dataansvarlige organisation og eksterne anvendere.

Trin 3 er at samle dokumentationen ét sted og skelne mellem oplysninger, kilden dokumenterer, og egne antagelser. Mangler der oplysninger om population, variable, periode eller revision, skal det fremgå som en begrænsning.

Fire kernedimensioner til vurdering af datakvalitet

Danmarks Statistik har en side om »Kvalitet i officiel statistik«. Læs kildens egne principper og den dokumentation, der følger med statistikken, før du vurderer tallene.

Trin 4 er at gennemgå tjekpunkterne én for én. Rigsrevisionens beretning nr. 3/2020 fremhæver aktualitet, rettidighed og få fejl. Rigsrevisionen vurderede, at 2 ud af 3 undersøgte kvalitetsprincipper ikke havde udviklet sig positivt i perioden 2015-2019 (Rigsrevisionen).

Statsrevisorerne fandt det utilfredsstillende, at Danmarks Statistik ikke systematisk havde fulgt vejledninger for eller opsat minimumskrav til kvalitetssikringen på tværs af nationale statistikker og EU-statistikker (Rigsrevisionen). Det understreger værdien af at bruge faste tjekpunkter og dokumentere vurderingen.

»Fælles sprog for datakvalitet« er vejledningen til deklaration af datasæt med kernedimensioner, udviklet til dansk fællesoffentlig sammenhæng (Fællesoffentlig Digital Arkitektur). Vejledningen skal lette dialogen mellem dataansvarlige organisationer og eksterne anvendere om, hvorvidt et datasæt egner sig til en ny anvendelse. Den bygger på W3C's Data on the Web Best Practices: Data Quality Vocabulary og ISO 25012 – Data Quality Model.

Fælles sprog for datakvalitet bruger fire kernedimensioner (Fællesoffentlig Digital Arkitektur). Komplethed handler om, hvorvidt de forventede dataelementer er med; korrekthed om, hvorvidt dataværdier stemmer med faktiske værdier. Aktualitet handler om, hvor tidsmæssigt aktuelle data er i forhold til den virkelighed, de repræsenterer; genbrugelighed om, hvor forståelige og lette data er for andre at anvende.

Vurder dimensionerne i forhold til de væsentligste forventede anvendelser (Fællesoffentlig Digital Arkitektur). For hver dimension skal du notere dokumentation, konkrete mangler og betydningen for formålet. Fastlæg krav ud fra den beslutning, data skal understøtte, i stedet for at bruge en løs samlet score. Så bliver tjeklisten anvendelig uden at forveksle kvalitet med formål.

Fælles sprog for datakvalitet – Fire kernedimensioner

Særlige hensyn til sundhedsdata

Sundhedsdata har nogle særlige forhold, der bør indgå i vurderingen. Sundhedsdatastyrelsen definerer sundhedsdata som oplysninger om patienters helbred og behandling – eksempelvis oplysninger om blodprøvesvar, diagnose, indlæggelse, operation, medicin og genoptræning.

For patientorganisationen Danske Patienter er deling af sundhedsdata en forudsætning for kvalitet og patientsikkerhed. Organisationen peger på, at når oplysninger ikke følger patienten på tværs af aktører i sundhedsvæsenet, øges risikoen for usammenhængende forløb og fejl. Data skal efter dette syn deles og anvendes, så de understøtter sammenhængende patientforløb, høj kvalitet og bedre behandling – med klare rammer for sikkerhed, gennemsigtighed og patientinddragelse.

Danske Patienter understreger også, at patienters villighed til at dele data bygger på tillid. Derfor er det afgørende, at data anvendes sikkert og transparent, og at det er tydeligt, hvem der bruger data – og til hvilke formål. Organisationen fremhæver fuld transparens om anvendelsen af data, blandt andet gennem logning og tydelig information. Patienter skal kunne tilgå egne sundhedsdata og have mulighed for at styre, hvordan de deles.

Et sidste punkt handler om, hvad kvaliteten måles på. Danske Patienter arbejder for, at patientrapporterede oplysninger i højere grad indgår i centrale kvalitetsindikatorer og bruges aktivt til at udvikle kvaliteten i sundhedsvæsenet. Organisationen arbejder også for, at kvalitetsudvikling tager udgangspunkt i hele patientforløbet frem for enkelte sektorers indsatser. Det er relevant at holde sig for øje, når du vurderer, om et datagrundlag reelt belyser kvaliteten af et forløb.

I Sundhedsdatabanken finder du tal for blandt andet operationer, diagnoser, fødsler, dødsårsager og lægemidler. Tallene bygger på data i de nationale sundhedsregistre. Tjek derfor, om dit spørgsmål kan besvares med de registre, der ligger bag banken.

Danske Patienter fremhæver, at kvalitetsudvikling bør tage udgangspunkt i hele patientforløbet på tværs af sektorer, og at patientrapporterede oplysninger i højere grad bør indgå i centrale kvalitetsindikatorer (Danske Patienter). Når du vurderer et sundhedsdatasæt, så undersøg, om datagrundlaget belyser hele forløbet, og om patientperspektivet er repræsenteret.

Trin 5: Kontrollér, om sundhedsdata følger patientforløbet på tværs af aktører, og om brugen er sikker, gennemsigtig og inddragende. Notér, hvor patientrapporterede oplysninger indgår, når de er relevante for den kvalitet, du vurderer.

Brugskontekst: fra data til beslutning

Det sidste skridt i vurderingen er at afklare, om data bruges til det formål, de er indsamlet til. Data indsamlet til løbende monitorering er ikke automatisk egnede til forskning, og data indsamlet til administration er ikke automatisk egnede til kvalitetsvurdering. Formålet med den oprindelige indsamling sætter grænser for, hvad materialet kan bære.

Sundhedsdatastyrelsen oplyser, at de nationale sundhedsregistre danner grundlag for tal og analyser, der blandt andet bruges til monitorering, planlægning og forskning. Det er flere forskellige anvendelser med hver sine krav til detaljeringsgrad, aktualitet og dokumentation. Spørg derfor konkret, hvilken af disse anvendelser dit spørgsmål tilhører.

Gør det tydeligt i din egen formidling, hvad materialet kan understøtte, og hvad det ikke kan. Skriv forbeholdene ned sammen med konklusionen, og angiv hvilke antagelser der er gjort undervejs. Det er med til at sikre, at beslutninger træffes på et troværdigt og objektivt grundlag.

Dokumentér til sidst dine egne valg: hvilke kilder du brugte, hvilke kriterier du lagde vægt på, og hvad du valgte at se bort fra. Så kan andre følge vurderingen og gentage den, når tallene opdateres.

Fællesoffentlig Digital Arkitektur beskriver deklarationer som et redskab til dialog mellem den dataansvarlige og dataanvendere. Deklarationen kan ikke i sig selv afgøre, hvordan data må anvendes i offentlig forvaltning; juridiske og forvaltningsmæssige aspekter indgår også. Det er værd at huske, når du går fra data til beslutning.

Trin 6 er at koble hvert forbehold til den beslutning, data skal støtte. Beskriv, hvad konklusionen bygger på, hvad usikkerheden kan ændre, og om datagrundlaget derfor er egnet til formålet.

Den samlede kontrol kan føres i én vurderingsnote: 1) formål, enheder og periode; 2) ansvar for indsamling, behandling og offentliggørelse; 3) metode, population og revision; 4) komplethed, korrekthed, aktualitet og genbrugelighed; 5) sikkerhed, gennemsigtighed og patientinddragelse ved sundhedsdata; 6) konklusion, forbehold og antagelser. Knyt hvert fund til dokumentation, og forklar, om det påvirker den planlagte anvendelse.

Anvendelser af nationale sundhedsregistre