Politikers kunskapsunderlag inte alltid korrekt

Felaktiga slutsatser

Felaktiga slutsatser

Skolan har nationella jämförelser som PISA-undersökningarna att tacka för att eventuella problem uppmärksammas och debatteras, vilket i sin tur kan bidra till problemlösning och utveckling. Liknande studier kan inte genomföras i förskolans värld. Ansvariga politiker får i stället förlita sig på olika forskningsrapporter eller uppdra åt en myndighet som Folkhälsoinstitutet att sammanställa relevant forskning. Eftersom sådana forskningssammanställningar påverkar politikers bild av förskolan och dess effekter utgår man från att de håller hög kvalitet. Här granskar jag en sådan rapport och blir beklämd.

Uppdraget

Folkhälsomyndigheten och Centrum för epidemiologi och samhällsmedicin vid Stockholms Läns Landsting publicerade förra året rapporten Förskolans påverkan på barns hälsa – en genomgång av den vetenskapliga litteraturen (1). Rapporten beskrivs som en systematisk översikt av vetenskaplig litteratur och består av två delar som undersökt förskolans påverkan på barns hälsa. Jag koncentrerar mig på den första delen som handlar om ”förskolans samlade effekter”. Rapporten har tagits fram inom ramen för Folkhälsomyndighetens regeringsuppdrag ”att verka för nationell samordning och för ett effektivt och kunskapsbaserat arbete inom området psykisk hälsa”.

Rapporten konstaterar att 94 procent alla barn i åldern 4–5 år går i förskolan och 76 procent av alla barn i åldern 1–3 år. Därför är det viktigt att undersöka hur förskolan påverkar barnen, både kortsiktigt och långsiktigt, skriver författarna. Det är en annan inställning än den som formulerats av en lektor i pedagogik vid Göteborgs universitet, nämligen att barn ska skonas från kvantitativa mätningar och effektstudier (2).

Naturliga experiment

Forskningsgenomgången begränsas till nordiska länder som alla har förskola av hög kvalitet vid internationell jämförelse och hög anslutning. Ett annat inklusionskriterium är att studierna i översikten ska bygga på s.k. naturliga experiment. Det innebär att det finns en grupp med barn som gått i förskola (försöksgrupp) och en grupp som inte har gått i förskola (kontrollgrupp) men att fördelningen till dessa inte har skett slumpmässigt utan av naturliga orsaker, t.ex. genom att det inte fanns tillräckligt många förskoleplatser.

De studerade utfallen är barns hälsa och livschanser, definierade som språkliga och matematiska färdigheter i skolåldern, utbildningsnivå och inkomst som vuxna. Av 78 granskade artiklar uppfyllde 8 de nämnda kriterierna.

Resultat

Forskningsöversikten sammanfattar resultaten av de åtta studierna så här: ”Analyserna av naturliga experiment tyder på att barn som gått i förskola är bättre på språk och matematik. De har också en bättre psykisk hälsa och får färre infektioner, framför allt öroninflammationer. I vuxen ålder har de högre utbildningsnivå och en högre inkomst jämfört med barn som inte gått i förskola” (sidan 6).

Det här låter för bra för att vara sant tänker jag, beställer studierna och granskar dem på för forskare sedvanligt sätt. Här följer en kort sammanfattning av studiernas utfallsmått, ålder vid mätningen, jämförelsegrupper och land där respektive studie genomförts, av mig numrerade från 1 till 8.

1. Psykosocial förmåga vid 7 års ålder: jämförelse mellan förskola, familjedaghem och hemmabarn i Danmark (3).

2. Kognitiv och psykosocial förmåga vid 11 års ålder: jämförelse mellan förskola och familjedaghem i Danmark (4).

3. Skolresultat vid 15 års ålder: Jämförelse mellan förskola och familjedaghem i Danmark (5).

4. Läsförmåga vid 11 års ålder: jämförelser mellan förskola och familjedaghem i Danmark och mellan barnomsorg av hög och låg kvalitet i USA (6).

5. Utbildningsnivå och inkomst vid 35 års ålder: Barn till förvärvsarbetande jämfört med barn till icke-förvärvsarbetande mödrar i Danmark. Opublicerad rapport (7).

6. Inkomstnivå vid 30–40 års ålder: jämförelse mellan 3–4-åringar som växte upp i norska kommuner med eller utan tillgång till förskola (8).

7. Kognitiv förmåga vid 7 års ålder: Jämförelse mellan barn i Norge som börjat förskola vid 15 månaders ålder eller 4 månader senare. Opublicerad rapport (9).

8. Fysisk och psykisk hälsa vid 4–5 och 6–7 års ålder: före och efter införandet av maxtaxa i Skåne. Opublicerad rapport (10).

Fem av studierna är från Danmark, två från Norge och en från Sverige. Av de danska studierna kommer tre från samma undersökning, den s.k. DALC-studien (Danish Longitudinal Survey of Children). Fem studier är publicerade och tre är opublicerade rapporter. Av rapporterna framgår tydligt att de handlar om preliminära resultat. Två anger till och med på första sidan att resultaten inte ska citeras (”Please do not cite!”). Intressant i sammanhanget är att författarna till forskningsöversiktens åtta studier är ekonomer utom i en studie där förste författaren är sociolog. Resultaten av studierna presenteras endast i form av korta sammanfattningar och forskningsöversikten diskuterar inte de enskilda studiernas styrkor och svagheter (sidan 17).

Mina kommentarer

Folkhälsoinstitutet gjorde klokt i att fokusera på naturliga experiment. Det är så nära man kan komma en experimentell studie när en sådan inte är möjlig att genomföra. Men eftersom barnen i de ingående studierna inte har fördelats slumpmässigt till förskola, familjedaghem eller hemmet finns ändå risk att grupperna är olika från början och att just dessa olikheter, och inte barnomsorgsmodellen, förklarar eventuella skillnader i resultaten. För att säkerställa att grupperna ändå blir så lika om möjligt behövs därför kompletterande information om s.k. störande faktorer som man kan kontrollera för i de statistiska beräkningarna. Studierna i forskningsöversikten skiljer sig markant i detta avseende.

Studie 7 har det starkaste upplägget genom att barnen faktiskt lottades till att börja i förskolan vid olika tidpunkter. Forskarna kunde också visa att grupperna blev väl balanserade när det gäller moderns och faders bakgrund. Men i studierna 1, 2 och 4, alla med data från den danska DALC-studien, fanns föräldrarnas önskemål med i bilden. Det är sannolikt att resursstarka föräldrar var mer aktiva med sina påtryckningar på kommunen än föräldrar med lägre kompetens och självsäkerhet, och att deras förstahandsval var förskola framför familjedaghem. En styrka med DALC-studien är dess longitudinella upplägg, vilket ökade möjligheten att inhämta kompletterande information. Övriga fyra studier är registerstudier där forskarna enbart har tillgång till den information som insamlats för det aktuella registrets syfte.

Svagast upplägg har studierna 5, 6 och 8 som inte har följt de enskilda barnen. Forskarna studerade vuxna som i förskoleåldern haft tillgång till förskola eller ej i sitt närområde (studie 5), vuxna som var i förskoleåldern före respektive efter en förskolereform (studie 6) samt 4–7 åringar före och efter införandet av maxtaxa (studie 8). I dessa studier finns många tänkbara felkällor.

I strikt mening är studier grundade på naturliga experiment observationsstudier eftersom det inte är forskarna själva som fördelat individerna till respektive grupp. Man brukar säga att en enstaka observationsstudie sällan medger slutsatser om kausalitet, i detta fall att det var förskoleexponeringen som sådan som ledde till resultatet. Man finner samband, men inte orsakssamband. För det krävs flera studier som pekar i samma riktning, vilket inte kan sägas om de åtta studierna i forskningsöversikten.

Det tycks mig som att författarna till forskningsöversikten i allt för hög grad utgått från det statistiska måttet ”effektstorlek” (effect size). Det mäter storleken på skillnaden mellan två grupper och kan sägas vara ett mer informativt mått än statistisk signifikans. Men om grupperna som jämförs inte är lika från början kan man trots ett högt värde på effektstorleken inte dra slutsatsen att själva interventionen (=förskolan) har effekt. Studiens upplägg, strukturen om man så vill, är det grundläggande.

Slutsats för slutsats

Det första påståendet, att ”analyserna av naturliga experiment tyder på att barn som gått i förskola är bättre på språk och matematik”, baseras på studierna 2, 3 och 4. Utfallen mättes vid 11, 15 respektive 11 års ålder. Jämfört med vilka barn, undrar jag. För att kunna dra den nämna slutsatsen vore den rimliga jämförelsegruppen barn som inte går i förskolan. Men ingen av studierna jämförde förskolebarn med hemmabarn. Studie 2 och 3 jämförde barn i förskola med barn i familjedaghem och studie 4 jämförde troligen förskolebarn med en blandad grupp av hemmabarn och barn i familjedaghem.

Det är inte seriöst att jämställa tillsynsformerna i kontrollgrupperna med barnets egen hemmiljö. Författarna till studie 3 menade att dagbarnvårdare som tar hand om barn i sitt eget hem på många sätt liknar mödrar med låg utbildning. Förskolebarnens resultat har alltså bedömts i relation till barn som troligen exponerats för en mindre resursstark miljö än barnens egen hemmiljö. Förutom denna invändning var resultaten i de tre studierna motstridiga: studie 2 fann ingen skillnad mellan barn som gått i förskola eller vistats i familjedaghem medan studie 3 och 4 visade bättre resultat i förskolegruppen.

Även studie 7 hade språk och matematik som utfallsmått (vid 15 respektive 19 månaders ålder), men den studien utvärderade inte förskola generellt utan effekten av tidig start i förskolan. Och de bättre resultaten i den tidiga gruppen gällde inte barn generellt, endast barn till låginkomsttagare.

Det andra påståendet, att ”de (förskolebarnen) har också en bättre psykisk hälsa”, utgår från studie 1 och 2. Utfallen mättes vid sju respektive elva års ålder. Forskningsöversiktens slutsats är felaktig eftersom studie 1 inte fann några skillnader mellan förskolebarn och hemmabarn och inte heller studie 2 som jämförde förskolebarn med barn i familjedaghem. Jag ifrågasätter också om det mätinstrument som användes (Strengths and Difficulties Questionnaire) mäter psykisk hälsa, snarare barns styrkor och svagheter.

Den tredje slutsatsen, att förskolebarn ”får färre infektioner, framför allt öroninflammationer”, är den mest iögonfallande. Den utgår från studie 8 som jag anser har alltför stora kvalitetsbrister för att ingå i en forskningsöversikt. Det torde vara allmänt känt att barn i förskolan får fler infektioner än hemmabarn under de två första åren (11). Hänvisningen till den s.k. hygienhypotesen, dvs. att det långsiktigt kan vara hälsosamt med den ökade exponeringen för virus och bakterier i förskolan på grund av ökad stimulering av immunförsvaret, underbyggs inte med forskningsevidens (om sådan finns).

Den fjärde slutsatsen, ”I vuxen ålder har de (förskolebarnen) högre utbildningsnivå och en högre inkomst jämfört med barn som inte gått i förskola”, grundar sig på studierna 5 och 6. I den första studien stod inte barnets vistelse i förskolan i fokus, utan effekten av moderns yrkesarbete. Den tänkbara effekten av förskolexponeringen i sig var marginell. I den andra studien jämförde forskarna framtida inkomst bland barn som i 3–4-årsåldern hade tillgång till förskola inom närområdet eller ej, alltså inte om barnen verkligen gått i förskola eller ej. Barn till låginkomsttagare med tillgång till förskola hade högre inkomst i 30 till 40-årsåldern medan barn till höginkomsttagare hade lägre inkomst. Ett så speciellt resultat borde rimligen ha diskuterats.

Mina slutsatser

Min bedömning är att de åtta studierna inte ger underlag för forskningsöversiktens slutsatser. Jag instämmer inte i rapportens inledning om att den är en systematisk översikt av vetenskaplig litteratur och jag blir beklämd vid tanken på att rapporten ingår i ett regeringsuppdrag.

Förskolan är i stort behov av kunskap om långsiktiga effekter på barnens hälsa och utveckling och politiker har sina myndigheter till förfogande för att bidra med detta. Att få fram sådan kunskap är en grannlaga uppgift med tanke på att vi i Sverige under tre decennier har försummat den typ av studier som skulle kunna belysa frågan. Vi har därmed ingen egen källa av effektstudier att ösa ur. Forskning från andra länder blir central och det finns ett värde i forskningsöversiktens fokusering på forskning från våra grannländer. Men en forskningsöversikt ska kritiskt granska de ingående studierna, lyfta fram styrkor och svagheter och noga analysera vad som är generaliserbart innan man drar slutsatser. Rapporten innehåller inget av detta, och dessutom direkta felaktigheter.

Referenser

1. Folkhälsomyndigheten. Förskolans påverkan på barns hälsa - en genomgång av den vetenskapliga litteraturen. Stockholm: Folkhälsomyndigheten och Centrum för epidemiologi och samhällsmedicin vid Stockholms Länd Landsting, 2017.

2. Dodillet S. Replikskifte om pedagogisk forskning. Svenska Dabladet 16/7 2017.

3. Data Gupta N, Simonsen M. Non-cognitive child outcomes and universal high quality child care. Journal of Public Economics 2010; 94: 30-43.

4. Data Gupta N, Simonsen M. The effects of type of non-prarental child care on pre-teen skills and risky behavior. Economics Letters 2012; 116: 622-5.

5. Data Gupta N, Simonsen M. Academic performance and type of early childhood care. Economics of Education Review 2016; 53: 2017-229.

6. Esping-Andersen G, Garfinkel I, Han W, Magnuson K, Wagner S, Waldfogel J. Child care and school performance in Denmark and the United States. Children and Youth Services Review 2012; 34: 576-89.

7. Bingley P, Jensen V, Nielsen S. Maternal employment, child care, and long-run child outcomes. Köpenhamn: The Danish National Centre for Social Research, 2015.

8. Havnes T, Mogstad M. Is universal child care leveling the playing field? Journal of Public Economics 2015; 127: 100-14.

9. Drange N, Havnes T. Child care before age two and the developent of language and numeracy: Evidence from a lottery. . Bonn: Institute for the Study of Labor IZA, 2015.

10. Van der Berg G, Siflinger B. The effects of a universal child care reform on child health - Evidence from Sweden. Mannheim: University of Mannheim, IFAU-Uppsala, IZA, CEPR, 2015.

11. Uldall P. Forms of care and children's infections. 2. Consequences and possibilities for intervention. Ugeskr Laeger 1990; 152(33): 2349-51. Jag är ett stycke. Klicka här för att lägga till din egen text och redigera mig. Jag är ett jättebra ställe för dig att berätta din historia på så att dina besökare kan få veta lite mer om dig.

Dela den här sidan