Kvalitetssikring af beskæftigelsesindsatsen

Effektmåling - hvordan måler man progression?

Væksthuset har i et treårigt forskningsprojekt arbejdet med at effektmåle og kvalitetssikre beskæftigelsesindsatsen over for matchgruppe 4 og 5. Du kan orientere dig om projektets vigtigste konklusioner her eller læse mere på www.jobeffekt.net

 

Hvordan måler man progression?
Målet for et aktiveringsforløb er at bringe ledige i job eller uddannelse. Derfor er det naturligt, at såvel leverandører til beskæftigelsesindsatsen som jobcentre og politikere er interesserede i at vide, hvor godt aktiveringen virker. Hvad er resultatet af et godt aktiveringsforløb? Hvad får jobcentret for pengene?

Svaret falder som regel i objektivt målbare kategorier som "ordinær beskæftigelse", "løntilskud", "ordinær uddannelse", "støttet uddannelse" eller "virksomhedspraktik". Disse resultater kan måles og omregnes til procent. Resultaterne har stor bevågenhed både internt i Væksthuset og blandt vores kunder - og i den offentlige debat mere generelt.

Samtidig er der meget lidt viden om, hvordan man måler skridtene hen mod slutresultatet. Hvornår kan man sige, at en person har nærmet sig arbejdsmarkedet? Hvad vil det sige at opnå progression i forløbet? Hvad er definitionen på "langt fra arbejdsmarkedet" eller "tæt på arbejdsmarkedet"? Og hvordan kan man tale om et effektfuldt aktiveringsforløb, hvis det ikke ender i beskæftigelse.

 

Kvalitetssikring af beskæftigelsesindsatsen
I 2008 beslutter Væksthuset at iværksætte forskningsprojektet "Kvalitetssikring af beskæftigelsesindsatsen til matchgruppe 4 og 5". I tråd med fondens formål investerer vi i et større forskningsprojekt, der skal give os svar på ovenstående spørgsmål. Og skabe læring og viden om, hvad der virker for hvem, på hvilken måde indsatsen virker, og hvorfor den virker.

Styregruppen i projektet består af Væksthuset og konsulentfirmaet New Insight. Projektet finansieres af Væksthuset - Den erhvervsdrivende fond og støttes af Arbejdsmarkedsstyrelsen.

Projektets har to mål. For det første vil vi udvikle et indikatorredskab, der med høj validitet kan bruges til at måle om borgeren flytter sig tættere på arbejdsmarkedet i løbet af et forløb. Indikatorredskabet udvikles med udgangspunkt i praksis.

For det andet vil vi gennemføre en stor mængde målinger hos forskellige praktikere for at undersøge hvilke indsatser, der fører til hvilke effekter. Altså en praktisk brug af måleredskabet til at vurdere effekten af en given indsats.

 

Hvad er resultatmåling?
En resultatmåling interesserer sig kun for forløbets endelige output. Det vil sige slutresultatet af et forløb. Ved en simpel resultatmåling er det ikke interessant, hvad indsatsen består af, eller hvilke effekter der er opnået undervejs. Desuden får man aldrig nogen viden om, hvad effekterne har været for de personer, der ikke når slutmålet:

Hvad er effektmåling?
Når vi i projektet arbejder med effektmåling (også kaldet virkningsevaluering) interesserer vi os både for, hvad indsatsen har bestået af (delindsatser) og hvilke effekter de enkelte indsatser har bidraget med. På den måde får vi dels viden om selve indsatsen. Og dels kan vi på et hvilket som helst tidspunkt i forløbet pege på, hvilke effekter, der er opnået indtil videre. Det kan illustreres sådan:

 

Hvad kan det bruges til?
Formålet, med at kaste sig ud i målingen af de kvalitative processer på vej mod slutmålet, er at skabe et bedre resultat slutresultat. Vi håber, at det vil få en positiv effekt på flere måder og for flere forskellige grupper:

 

Deltagere i projektet
Siden 2008 har seks praktikvirksomheder deltaget i projektet. Deltagerne er sammensat efter en geografiske, indsatsmæssige og organisatoriske (både offentlige og private) kriterier. Fælles for deltagerne er, at alle virksomheder tilbyder aktiveringsforløb for borgere i matchgruppe 4, som er den målgruppe projektet fokuserer på.

De seks praktikervirksomheder er foruden Væksthuset og CBR, Reva Trollesbro (Hillerød kommune), Integro (landsdækkende privat aktør), CAB (Center for Afklaring og Beskæftigelse, Københavns Kommune) og Dansk Råstof (aktør i København).

Hver virksomhed har udvalgt 1-3 forløb, som de udvikler programteori for og måler på. Forløbene har vist sig at være ret forskellige, hvilket har sikret en bredde i vores forståelse af indikatorer.

Forskelligheden er også en udfordring i forhold til diskussionen om, hvorvidt det overhovedet er muligt at opnå fælles sprog og indikatorer i så forskellige forløb. Forløbene i projektet har eksempelvis været holdbaserede 4-ugers forløb, forløb målrettet løntilskud, forløb med træning i eget værksted samt individuelt tilrettelagte forløb med skræddersyet indhold.

 

Hvad er det, vi gør? Udvikling af programteorier
Første skridt i processen er at udvikle programteorier for indsatsen. Det vil sige en beskrivelse af, hvad der er, vi gør, hvordan vi gør det, og hvilke effekter vi mener, indsatsen har. Programteorierne er selve kernen i projektet. Det er her, den tavse viden bliver synlig. Det implicitte og selvfølgelige bliver eksplicit og konkret.

Vi har med andre ord tømt praktikernes hoveder for at finde ud af, hvad det egentlig er, vi går og gør. Derudover giver udarbejdelsen af programteorier hver deltagende virksomhed en fantastisk mulighed for at få overblik og indsigt i, hvad det egentlig er, man prioriterer i indsatserne.

Processen tvinger praktikerne til refleksion og til at sætte ord på den praksis, der ellers er selvfølgelig og indforstået. Desuden har processen en løbende intern effekt, idet praksis nogle steder er blevet ændret eller skærpet i lyset af diskussioner og præcis erfaring af de forskellige forløb. På den måde har projektet opnået en ekstra og meget brugbar effekt, nemlig intern kvalitetssikring og kvalitetsforbedring. Kilk på ikonet for at se et uddrag af en programteori: 

 

Udvikling af måleredskabet
Næste skridt i processen er at udvikle et fælles måleredskab - også kaldet et indikatorsystem. Vi skal finde ud af, hvordan effekterne fra programteorien kan måles. De fleste steder i landet foregår dokumentationen for borgerens progression i form af tekst. Det vil sige kvalitative beskrivelser fra aktiveringsaktøren til jobcentret. Ofte inddelt i dialogguidens og ressourceprofilens emner.

Ambitionen er nu at udvikle et måleredskab, der på den ene side set er kvantitativt, så effekterne kan måles på tværs af indsatser. Og på den anden side kan fastholde det kvalitative aspekt af indsatsen, fordi indsatsen handler om menneskelige processer og udviklinger, som ikke kan låses fast til ét bestemt tal.

Risikoen er, at vi enten ender med et redskab, der er så kvalitativt og subjektivt, at det ikke kan bruges på tværs af forskellige aktører og forskellige forløb, og dermed ikke siger mere end den tekstlige afrapportering, vi leverer i forvejen. Eller at vi kommer til at stå med et meget rigidt talsystem, som er så firkantet, at det ikke kan hverken rumme praksis og dermed være nytteløst.

Løsningen på ovenstående udfordring i projektet har været, at de seks praksisvirksomheder, som deltager i projektet, har udviklet over 20 parametre. Disse parametre mener vi er relevante for at kunne sige noget om, hvorvidt borgeren har bevæget sig nærmere arbejdsmarkedet.

Hvert parameter er så blevet inddelt i fem trin, hvor trin 1 indikerer, at borgeren er længst fra arbejdsmarkedet. Trin 5 indikerer, at borgeren er tæt på arbejdsmarkedet - udelukkende målt på det valgte parameter.

På hvert trin har vi nået frem til en række udsagn, som viser, hvordan det enkelte tal skal forstås. På den måde får konsulenten (som laver målingen) en fornemmelse for, hvad det enkelte tal betyder.

Denne løsning giver os mulighed for at sammenligne på tværs (mellem projekterne og tidsmæssigt i hvert forløb) samtidig med at det kvalitative i progressionen fastholdes gennem de udsagn, der knytter sig til hvert trin.

Figuren her viser et eksempel på ét af de 20 måleparametre, som projektet arbejder med. Udsagnene skal hjælpe konsulenten til at kunne vurdere, hvor tæt på arbejdsmarkedet en borger befinder sig.

 

 

Eksterne eksperter og videnopsamling
Udover praktikernes viden og erfaring, som danner baggrund for såvel programteori som måleredskabet, har vi løbende udfordret vores egne antagelser om hvilke indsatser, der fører til hvilke effekter.

For at kvalificere og kontrollere projektet har vi blandt andet interviewet virksomheder om, hvilke personlige og faglige kompetencer de efterspørger hos nye medarbejdere. Dette for at sikre at forløbene indeholder indsatser, der sigter mod at levere resultater, som virksomhederne kan bruge. Vi har også lavet interviews med borgere for at få et borgerperspektiv på vores programteorier. Hvad oplevere borgeren som virkningsfuldt i et forløb. Og på hvilke måder stemmer det overens med de antagelser, som fremgår af programteorierne?

Derudover har vi gennemgået og analyseret en række andre succesfulde projekter for målgrupperne. Ved at se på hvordan andre har skabt progression og effekter i forløb, har vi også kunnet diskutere vores egne indsatser og udfordre vores antagelser.

Endelig har vi undersøgt sammenhængen mellem sundhedsfremmende indsatser og effekten af erhvervsrettede indsatser. Er effekten af en erhvervsrettet indsats potentielt større, hvis der også arbejdes med borgerens sundhed og helbred? Via studier og analyser fra SFI, institut for folkesundhed, Sundhedsstyrelsen, AKF samt Institut for sundhedsvæsen har vi forsøgt at udfordre det, at de erhvervsrettede indsatser, vi tilbyder, ikke nødvendigvis har en sundhedsdimension.

Undersøgelser peger på, at der måske kan være tale om et positivt samspil, som dog ikke er entydigt eller signifikant.

 

Næste skridt? Konklusioner og formidling
Efter udarbejdelsen af programteorierne og indikatorsystemet er alle de deltagende praktikervirksomheder i gang med at foretage selve målingerne. Hver praktiker indtaster løbende data til en central registrering. Denne proces blev afsluttet i marts 2010. Herefter analyseres de indsamlede data. Vi glæder os til at kunne præsentere resultaterne af projektet på en afsluttende konference d. 4. oktober 2010 og til at formidle vores viden rundt om i Danmark i løbet af 2010. Formidlingen vil især have fokus på:

• Måleredskabet og det fælles sprog til at tale om progression
• Projektets konklusioner på data. Hvilke indsatser giver hvilke typer effekter?

 

Projektet er så vidt vides det første af sin art i Danmark. Væksthuset vil arbejde videre med at justere og forfine programteori som undersøgelsesmetode og måleredskabet til effektmåling. Vi opfordrer alle til at spille med. Det er i alles interesse, at leverandører bliver bedre til at dokumentere effekterne af forløb. Det kan vi kun gøre, hvis vi udvikler nogle fælles standarder for, hvad der i en given sammenhæng kan regnes for en effekt.