Datakvalitet i skolan: innan analysen börjar

Det börjar ofta med en tabell.

Några skolor ligger högt. Några ligger lågt. Ett snitt räknas fram. En färg sätts i en ruta. Någon frågar vad resultatet beror på.

Men innan analysen ens har börjat finns en annan fråga som borde ställas: kan vi lita på underlaget på det sätt vi nu tänker använda det?

Inte som en misstro mot siffrorna. Utan som respekt för komplexiteten i skolans verksamhet.

Datakvalitet är det som avgör om analysen får fäste i verkligheten eller bara rör sig mellan rapporter, diagram och antaganden.

Kort definition

Datakvalitet i skolan handlar om att de underlag som används för analys och beslut är tillräckligt relevanta, tillförlitliga och tolkningsbara för den fråga som ska undersökas.

Det betyder inte att all data måste vara perfekt. Perfekta underlag finns sällan i en komplex skolvardag.

Det betyder däremot att huvudman, rektor och profession behöver förstå vad ett underlag kan säga, vad det inte kan säga och hur säkert det är att använda som grund för prioritering.

En frånvarosiffra kan vara korrekt registrerad men ändå svår att tolka. Ett enkätresultat kan visa ett tydligt mönster men bygga på låg svarsfrekvens. Ett betygsresultat kan jämföras över tid utan att organisationen har prövat om elevgrupp, undervisning, bedömningspraktik eller stödinsatser har förändrats.

Datakvalitet handlar därför inte bara om siffrornas skick.

Det handlar om relationen mellan siffran, frågan och den verksamhet som ska förstås.

Datakvalitet är inte samma sak som datamängd

Skolor och huvudmän har i dag tillgång till stora mängder information. Det kan ge bättre förutsättningar för analys, men bara om informationen går att förstå, jämföra och använda i relation till rätt fråga.

Mer data betyder inte automatiskt bättre analys.

Ibland blir det tvärtom. Ju fler underlag som läggs på bordet, desto större blir risken att samtalet tappar riktning. Ett datainformerat arbetssätt handlar därför inte om att samla mer data, utan om att använda rätt underlag i rätt samtal. Resultat, frånvaro, trygghet, stödinsatser, personaldata och ekonomiska mått kan alla vara relevanta. Men om de inte kopplas till en tydlig analysfråga blir de lätt en samling indikatorer utan gemensam mening.

Det är här många analysmöten förlorar sin kraft.

Man börjar i det som finns tillgängligt, snarare än i det som behöver förstås. Man jämför det som är enkelt att jämföra, snarare än det som är meningsfullt att jämföra. Man lägger tid på att beskriva skillnader, men mindre tid på att pröva vad skillnaderna faktiskt kan bero på.

Datakvalitet handlar därför inte bara om att rätta fel.

Det handlar om att skapa förutsättningar för gemensam tolkning.

Därför är datakvalitet en ledningsfråga

När datakvalitet diskuteras hamnar frågan ofta snabbt i teknik: system, exportfiler, dubbletter, felkoder, integrationer och manuella rättningar.

Det är viktiga delar. Men i skolans kvalitetsarbete är datakvalitet framför allt en ledningsfråga.

Det handlar om vilka frågor huvudmannen ställer. Vilka underlag rektorer förväntas använda. Hur elevhälsans iakttagelser vägs in. Hur resultat jämförs över tid. Hur skillnader mellan grupper tolkas. Hur frånvaro, måluppfyllelse, trygghet, studiero och undervisningens kvalitet kopplas ihop.

Om underlagen är otydliga riskerar styrkedjan att börja analysera fel sak.

Då kan organisationen lägga mycket tid på att diskutera tabeller, staplar och färgmarkeringar utan att komma närmare de bakomliggande orsakerna.

Skolverket beskriver systematiskt kvalitetsarbete som en process där utbildningen kontinuerligt ska planeras, följas upp, analyseras och utvecklas. Det räcker alltså inte att sammanställa resultat. Orsakerna till resultaten behöver analyseras och ligga till grund för insatser.

Det gör datakvalitet till mer än ett förarbete. Det knyter också an till frågan om kollektiv analyskapacitet: organisationens förmåga att tänka tillsammans om vad underlag betyder.

Det är en förutsättning för att kvalitetsarbetet ska bli något annat än rapportering.

Tre vanliga misstag i skolans analysarbete

1. Det som är mätbart behandlas som viktigast

Det första misstaget är att organisationen börjar där det finns enkla siffror, inte där den viktigaste frågan finns.

Det kan leda till att betyg, frånvaroprocent eller enkätresultat får en tyngd som de inte alltid kan bära. Inte för att de är oviktiga, utan för att de bara visar en del av verksamheten.

En huvudman kan till exempel se att frånvaron ökar i en viss årskurs. Men utan information om mönster över tid, klass, ämne, veckodag, lektionspass, typ av frånvaro och lokala registreringsrutiner blir det svårt att veta vad ökningen betyder.

Frågan är inte bara:

Vilka siffror har vi?

Frågan är:

Vilket problem försöker vi förstå?

2. Data granskas först när analysmötet börjar

Det andra misstaget är att datakvalitet hanteras för sent.

Det märks ofta i analysmöten. Någon upptäcker att en klass saknas. Någon annan ser att en enhet verkar ha rapporterat på ett annat sätt. Ett värde ser orimligt ut. Några elever finns dubbelt. En definition visar sig vara oklar.

Då flyttas fokus från verksamhetsfrågan till underlagets brister.

Det är inte alltid fel. Ibland är det just dessa brister som behöver upptäckas. Men om det sker först i analysmötet riskerar samtalet att tappa fart. Deltagarna börjar tveka inför materialet. Slutsatser skjuts upp. Eller ännu värre: slutsatser dras ändå, trots att osäkerheten är känd.

Datakvalitet behöver därför ha en plats före analysmötet.

Inte för att allt ska vara färdigtolkat. Utan för att mötet ska kunna ägna sig åt rätt sorts osäkerhet.

Det finns en stor skillnad mellan att säga:

Vi vet inte om underlaget stämmer.

och att säga:

Underlaget är tillräckligt granskat, men vi behöver tolka vad mönstret betyder.

Det senare är början på analys.

3. Visualisering blandas ihop med förståelse

Det tredje misstaget är att en tydlig graf uppfattas som en tydlig analys.

En graf kan göra ett mönster synligt. Den kan hjälpa en ledningsgrupp att se skillnader, variation, trendbrott och avvikelser. Den kan skapa fokus.

Men grafen förklarar inte varför mönstret finns.

En stapel kan visa att en skola har högre frånvaro än andra. Den säger inte automatiskt om det beror på registreringspraxis, elevgrupp, organisation, undervisningssituation, psykisk ohälsa, skolklimat, övergångar, schema, ledarskap eller något annat.

Visualisering kan alltså vara en stark startpunkt för analys.

Men den får inte bli slutpunkten.

Det är först när data prövas mot professionens kunskap, lokala erfarenheter och ett hypotesprövande arbetssätt som den kan bli användbar.

Tre frågor som stärker datakvaliteten

Datakvalitet kan beskrivas med många dimensioner: korrekthet, fullständighet, aktualitet, konsistens, giltighet och jämförbarhet. I praktiskt kvalitetsarbete behöver dessa översättas till frågor som går att använda i samtal.

Tre frågor räcker ofta långt.

1. Svarar underlaget på rätt fråga?

Det första steget är att pröva relevansen.

Ett underlag kan vara korrekt men ändå fel för sammanhanget. Om frågan handlar om undervisningens kvalitet räcker det sällan med betygsresultat. Om frågan handlar om skolfrånvaro räcker det sällan med total frånvaroprocent. Om frågan handlar om trygghet räcker det sällan med ett genomsnittligt enkätvärde.

Relevans handlar om kopplingen mellan underlaget och den fråga organisationen försöker förstå.

Om en huvudman vill förstå varför frånvaron ökar i årskurs 8 behöver analysen kanske inte börja med total frånvaro per skola. Den kan behöva börja med när frånvaron uppstår, vilka typer av frånvaro som dominerar, om det finns skillnader mellan klasser, om vissa ämnen eller tider sticker ut och hur skolornas rutiner för registrering ser ut.

Samma princip gäller resultat.

Om en skola vill förstå sjunkande måluppfyllelse i matematik räcker det inte alltid att titta på slutbetyg. Analysen kan behöva inkludera nationella prov, delprov, undervisningsinnehåll, frånvaro, stödinsatser, lärarbehörighet, övergångar och elevgruppens tidigare progression.

Frågan hjälper organisationen att undvika ett vanligt misstag: att låta tillgänglig data bestämma problemet.

En enkel kontrollfråga är:

Vilket beslut eller vilken förståelse ska detta underlag hjälpa oss fram till?

Om den frågan inte går att besvara är risken stor att underlaget kommer att skapa aktivitet, men inte riktning.

2. Går underlaget att lita på på det sätt vi använder det?

Det andra steget är att pröva tillförlitligheten.

Här handlar det inte om en allmän känsla av om siffrorna är bra eller dåliga. Det handlar om hur säkert underlaget är för just den användning som planeras.

• Ska det användas för att se en grov tendens?
• Ska det användas för att jämföra skolor?
• Ska det användas för att prioritera resurser?
• Ska det användas för att följa upp en insats?
• Ska det användas för att dra slutsatser om en liten elevgrupp?

Ju tyngre beslut, desto större krav på datakvalitet.

Några saker behöver ofta prövas:

• Är tidsperioden tydlig?
• Är definitionerna gemensamma?
• Saknas värden?
• Finns dubbletter?
• Har alla enheter rapporterat på samma sätt?
• Är gruppen tillräckligt stor för att resultatet ska visas?
• Är svarsfrekvensen tillräcklig?
• Har något förändrats i system, organisation eller registreringsrutin som påverkar jämförelsen?

Det här är särskilt viktigt på huvudmannanivå.

Om skolor registrerar frånvaro olika kan skillnader mellan skolor delvis spegla skillnader i rutiner. Om rektorer tolkar stödinsatser olika kan sammanställningen säga lika mycket om dokumentationskultur som om elevers behov. Om en enkät har olika svarsfrekvens mellan enheter behöver det påverka hur resultaten används.

Tillförlitlighet handlar därför inte om att kräva perfektion.

Det handlar om att veta vilken grad av osäkerhet organisationen arbetar med.

En enkel kontrollfråga är:

Vad i underlaget måste vara sant för att vår tänkta slutsats ska hålla?

Den frågan gör analysen mer varsam. Den skyddar organisationen från falsk precision.

3. Vad behöver professionen tillföra innan vi drar slutsatser?

Det tredje steget är att pröva tolkningsbarheten.

Data blir inte analys förrän någon försöker förstå vad den betyder.

Det är här professionens kunskap blir avgörande. Lärare, elevhälsa, rektorer och huvudman ser olika delar av verksamheten. De har olika närhet till undervisning, organisation, elevgrupper, beslut och uppföljning. När dessa perspektiv kopplas till data kan mönster bli begripliga.

Forskning om dataanvändning i skolan betonar att data behöver användas i en process där olika typer av information samlas in, tolkas gemensamt och omsätts i förbättringshandlingar. Det kräver både datalitteracitet och ledarskap. Se till exempel Kim Schildkamps artikel Data-based decision-making for school improvement.

Mandinach och Gummer beskriver datalitteracitet som förmågan att omvandla information till användbar kunskap och praktik genom att samla in, analysera och tolka olika typer av data på ett ansvarsfullt sätt. Se deras artikel What does it mean for teachers to be data literate?.

Det betyder att professionen inte är ett komplement till data.

Professionen är en del av datakvaliteten.

En frånvarorapport kan visa ett mönster, men det är professionen som kan pröva möjliga förklaringar. Har schemat förändrats? Finns det oro i vissa grupper? Har undervisningssituationen förändrats? Är det enskilda elever eller breda mönster? Finns det övergångar, håltimmar, ämnen eller relationella faktorer som behöver undersökas?

På samma sätt kan ett betygsresultat visa en förändring, men professionen behöver pröva om förändringen handlar om undervisning, bedömning, elevsammansättning, stöd, progression eller något annat.

Tolkningsbarhet handlar alltså om att data behöver möta verksamhetskunskap.

En enkel kontrollfråga är:

Vilka perspektiv behöver vara med för att vi inte ska dra en för snabb slutsats?

Den frågan hjälper organisationen att se data som startpunkt för gemensam analys, inte som facit.

Datakvalitet och elevhälsa

Datakvalitet blir särskilt viktig när analysen rör elevhälsodata.

Många av de signaler som är mest betydelsefulla för barns och elevers utveckling syns inte först i betygsstatistiken. De syns i återkommande frånvaro, oro i klassrum, återkommande konflikter, svårigheter i övergångar, ökade stödbehov, elevhälsans konsultationer, vårdnadshavares kontakter och professionens samlade iakttagelser.

En del av detta går att strukturera som data. Annat behöver formuleras som kvalitativa mönster.

Om kvalitetsarbetet bara räknar det som enkelt kan exporteras ur system riskerar viktiga signaler att hamna utanför analysen.

Det betyder inte att allt ska göras till nyckeltal.

Det betyder att huvudman och rektor behöver skapa former där även professionella observationer kan få kvalitet: tydliga begrepp, gemensamma rutiner, återkommande analysfrågor och varsam dokumentation. Här blir processkvalitet avgörande, eftersom många viktiga signaler syns i arbetssättet långt innan resultaten förändras.

Elevhälsodata kräver dessutom etisk försiktighet. Små grupper, känsliga uppgifter och kombinationer av information kan snabbt göra en analys mer identifierande än det först verkar.

Datakvalitet handlar därför också om att veta när data inte ska brytas ner mer.

Ibland är det mest professionella beslutet att zooma ut.

AI gör datakvalitet ännu viktigare

När AI används i analysarbete ökar kraven på datakvalitet.

AI kan hjälpa till att sammanfatta, strukturera, hitta mönster och formulera hypoteser. Men AI kan också skapa en känsla av säkerhet kring underlag som egentligen är otydliga, ofullständiga eller felaktigt tolkade.

Det innebär att skolans första fråga inte bör vara:

Hur kan vi använda AI i kvalitetsarbetet?

Den första frågan bör vara:

Vilken kvalitet har de underlag vi vill att AI ska hjälpa oss att förstå?

Om definitioner, tidsperioder, bortfall och registreringsrutiner är oklara riskerar AI att förstärka samma problem som redan finns i analysarbetet. Den kan göra svaga underlag mer övertygande, men inte nödvändigtvis mer sanna.

Det gäller särskilt när AI används för att sammanfatta kvalitetsrapporter, analysera fritext, tolka elevhälsomönster eller föreslå prioriteringar.

AI kan vara ett stöd i analysen.

Men den kan inte ersätta organisationens ansvar att förstå underlaget.

Datakvalitetens praktiska plats i styrkedjan

Datakvalitet behöver finnas på flera nivåer samtidigt.

På huvudmannanivå handlar det om att skapa gemensamma definitioner, jämförbara underlag och tydliga former för uppföljning. Huvudmannen behöver veta vilka jämförelser som är rimliga, vilka mönster som kräver fördjupning och vilka resultat som inte bör tolkas utan lokal kontext.

På rektorsnivå handlar det om att koppla underlagen till skolans faktiska processer. Vad säger resultaten om undervisning, organisation, stöd, ledarskap och lärmiljö? Vilka mönster känner personalen igen? Vilka mönster behöver undersökas vidare?

På professionsnivå handlar det om att pröva data mot erfarenhet utan att fastna i anekdoter. Det är här gemensamma analysfrågor blir viktiga. De hjälper gruppen att hålla isär observationer, tolkningar, hypoteser och slutsatser.

När datakvalitet fungerar i styrkedjan uppstår en annan typ av samtal.

Inte bara:

Vad visar resultatet?

Utan också:

• Hur säkra är vi?
• Vad kan detta bero på?
• Vad behöver vi undersöka vidare?
• Vilken nivå i styrkedjan äger nästa steg?
• Vilken insats är rimlig utifrån det vi faktiskt vet?

Det är där data börjar bli användbar.

Fem frågor inför nästa analysmöte

För att stärka datakvaliteten behöver huvudman och rektor inte börja med ett stort systemprojekt. Ofta räcker det att börja med bättre förberedelser.

Inför nästa analysmöte kan ledningsgruppen pröva dessa fem frågor:

• Vilken verksamhetsfråga ska underlaget hjälpa oss att förstå?
• Vilka definitioner behöver vara tydliga innan vi tittar på resultatet?
• Vad saknas, är osäkert eller riskerar att misstolkas?
• Vilka perspektiv behöver vara med innan vi drar slutsatser?
• Vilka slutsatser är tillräckligt säkra för beslut, och vilka ska behandlas som hypoteser?

Dessa frågor kan verka enkla.

Men de förändrar analyskulturen.

De flyttar samtalet från att bara fråga vad siffrorna visar, till att också fråga hur långt siffrorna bär.

Från datakvalitet till analyskapacitet

Datakvalitet är grunden för analyskapacitet.

Utan datakvalitet riskerar skolor och huvudmän att fatta beslut på brus. Med bättre datakvalitet blir det möjligt att se mönster tidigare, ställa bättre hypoteser, prioritera mer träffsäkert och följa upp om insatser faktiskt gör skillnad.

Men datakvalitet uppstår inte av sig själv.

Den byggs genom gemensamma definitioner, tydliga rutiner, klok visualisering, professionell tolkning och ledningens förmåga att hålla ihop styrkedjan.

Det är först då data kan bli något mer än rapportering.

Det är då data kan bli ett underlag för gemensamt ansvar, lärande och utveckling.

Vill ni stärka datakvaliteten i ert systematiska kvalitetsarbete?
Kontakta Skolinsikt för stöd i att göra underlag begripliga, analysera mönster och omsätta data i prioriterade utvecklingsinsatser.