Gå til innhold

Innovasjon Norge jukser ikke med data

20. november 2015
Årsrapport 2015

Ikke avvik mellom Innovasjon Norges tolkninger og våre tall, sier SSB etter kritikk av Innovasjon Norges årsrapportering, der påstander om opportun tolkning og fordreid virkelighetsbilde har vært fremmet. 

Innovasjon Norge ønsker åpent å styrke kunnskapsgrunnlaget for hva som gir god effekt i nærings- og innovasjonspolitikken, og målesystemet vi utvikler er et nybrottsarbeid. For å sikre objektivitet har Innovasjon Norge valgt å samarbeide med Forskningsavdelingen i Statistisk Sentralbyrå (SSB). SSB ser ingen divergens mellom egen rapport og slik dette har blitt fremlagt av Innovasjon Norge:

Misforståelser i metodisk tilnærming
– Innovasjon Norge tar noe av de samme forbeholdene som vi tar. Selv om vi selvsagt ikke har forhåndsgodkjent hvert ord som står i årsrapporten, mener vi også at Innovasjon Norge har vært flinke til å forhåndsklarere formuleringer med SSB i prosessen, sier Erik Fjærli i SSB. Videre mener Fjærli at kritikken tar feil i sin påstand om avvik mellom årsrapporten og deres endelige rapport.  – Dette må bunne i misforståelser om metodisk tilnærming. Avvikene som måtte være der er helt ubetydelige, endrer ingen konklusjoner og er et resultat av kontinuerlig forbedring i løpet av publikasjonsprosessen, fortsetter Fjærli.

Nybrottsarbeid i måling
Det har blitt ytret bekymringer for at effektmålinger alltid vil være å se «i speilet», som i ytterste konsekvens kan hindre nytenking rundt virkemidlene.  Innovasjon Norge deler ikke dette synet rundt mangel på nytenking. Dette er nybrottsarbeid, og det finnes ingen fasitsvar med to streker under her. Det systemet som SSB har utviklet for effektmåling, har både styrker og svakheter. Styrken er at vi nå faktisk kan estimere mulige effekter basert på objektive registerdata. Svakheten er knyttet til at det er begrensninger for hvor langt ned man kan bryte tallene på ulike aktiviteter. Sett sammen med evalueringer og kundeundersøkelser kan vi nå med rette hevde at vi både undersøker om vi gjør tingene riktig, og om vi gjør de riktige tingene.

Valg av resultatindikatorer i MRS-systemet er fastsatt av Nærings- og handelsdepartementet i et notat fra 2013. I operasjonaliseringen av indikatorene er den metodiske tilnærmingen helt og holdent SSBs valg og er basert på de vanlige metodene som er brukt i vitenskapelige publikasjoner.

Les også:
Et innblikk i hvordan Innovasjon Norge jobber for å styrke kunnskapsgrunnlaget for hva som gir effekt i nærings- og innovasjonspolitikken

 

 

3 kommentarer leave one →
  1. 26. november 2015 14:55

    Jeg har med interesse registrert Innovasjon Norges svar i DN, samt i denne bloggen (selv om kritikken her ikke er navngitt), på min kritiske vurdering av holdbarheten i Innovasjon Norges påstander om positive effekter av ulike former for støtte til norske bedrifter. Felles for svarene, inkludert det som står å lese i blogginlegget 20. november, er at de unnlater å berøre kjernen i min kritikk.

    Svarene fra IN inviterer likevel til noen avklaringer. IN betoner at de sammen med SSB gjennomfører et nybrottsarbeid når det gjelder mål- og resultatstyring i IN, og at SSBs empiriske beregninger av effekt er en del av dette arbeidet. Slik har jeg også forstått det, og jeg har forsøkt å gi disse bestrebelsene anerkjennelse i mitt Civita-notat. Jeg har heller ikke problematisert avvik i tall når man sammenligner INs årsberetning med SSBs effektrapport fra august. Noe tallgjenfinningsproblem har ikke vi støtt på. Å dra dette videre til en spekulasjon om at «kritikken» kan ha misforstått den metodiske tilnærmingen», slik det står å lese i Innovasjonsbloggen, renner dermed også fort ut i sanden.

    At IN bruker energi på å slå fast at «Innovasjon Norge ikke jukser med data», er også vanskelig å forstå. Har noen påstått det?

    Så til selve saken, som IN ikke har gjort noe forsøk på å motbevise: Min hovedkritikk handler ikke om intern virksomhetsstyring, ikke om divergerende tall, ikke om metodisk tilnærming i SSBs beregninger – men derimot om dristige påstander om positive effekter av INs støttetiltak for norsk næringsliv, basert på SSBs beregninger. Kritikken er kort oppsummert denne: Til grunn for SSBs effektberegninger ligger hverken en klargjøring av miksen av ulike former for støtte- og tjenester til den enkelte bedrift (også støtte fra andre enn IN), ei heller en tallfesting av omfanget av støtten til den enkelte bedrift. Dermed oppstår et komposisjonsproblem, i det man går videre med å beregne gjennomsnittlige forskjeller i vekst i bl. a. omsetning, sysselsetting og lønnsomhet mellom kunder av IN og en kontrollgruppe av ikke-kunder. Det store ubesvarte spørsmålet blir dermed stående: Hva har man egentlig målt?

    Problemet her består ikke i bruken av objektive og etterprøvbare tall for output, men i at man ikke benytter like objektive, etterprøvbare og ikke minst sammenlignbare tall uttrykt i kroner for input (støtten fra IN), samt at man ikke kontrollerer for at kundebedriftene også kan ha mottatt ulike former for FoU-støtte fra Forskningsrådet, eller gjennom SkatteFunn-ordningen.

    Et viktig spørsmål som reiser seg i forlengelsen av nevnte problemstillinger er naturligvis om ikke Innovasjon Norge selv burde kunne fremskaffe tall som sier noe relevant om egen innsats i form av ulike støttetiltak, uttrykt i kroneverdi, slik at omfanget av støtten lettere lar seg sammenligne med resultattall for bedriftene som mottar slik støtte.

    Kanskje er det rett og slett er rom for mer nybrottsarbeid på dette feltet?

    Lars Peder Nordbakken, Civita.

    Se for øvrig også mitt svarinnlegg i BT i dag:

    http://www.bt.no/meninger/debatt/Konstruktivt-svar-fra-Innovasjon-Norge-3491290.html

  2. 2. desember 2015 16:00

    Stort rom for mer nybrottsarbeid

    På Nordbakkens spørsmål i sitt innlegg på denne bloggen svarer vi et rungende JA – det er et stort rom for mer nybrottsarbeid på dette fagfeltet. Vi i Innovasjon Norge vil fortsette med det, og vi vil ha med så mange som mulig på reisen, både her hjemme og internasjonalt!
    Hovedkritikken

    Nordbakken presiserer i en kommentar i DN 1. desember at kritikken først og fremst har vært at man ikke vet hva man har målt. Han løfter fram at analysene verken tar hensyn til størrelsen på støttebeløpet eller hva slags miks av virkemidler, inklusive støtte fra andre gode hjelpere, den enkelte bedrift har fått. Vi er enige med Nordbakken i at det er viktig både å se nærmere på samspillet mellom offentlige virkemidler, og «tyngden» i virkemidlene. Dette er en fornuftig videreutvikling av analysene. Men det betyr ikke at den enkle tilnærmingen, kunde versus ikke-kunde, som vi har gjort nå, ikke er relevant. I jakten på evalueringer og analyser på virkemiddelnivå glemmer vi ofte å dokumentere effekten av Innovasjon Norge som institusjon. Derfor var det godt å få dokumentert indikasjoner på effekter også på institusjonsnivå. Verdien av å ha tilgang til en kompetent, risikovillig og habil ikke-aggressiv samarbeidspartner som er til å stole på, med relevante nettverk både ute og hjemme, bør evalueres oftere og mer profesjonelt.
    Både vi og SSB har ønsket å gjennomføre analyser som tar hensyn til styrken i virkemidlene, men det har ikke vært rom for det så langt. Det nærmeste vi har kommet tjenestene er å analysere departementenes virkemidler hver for seg i vår rapportering tilbake til oppdragsgiverne. Når vi har drillet ned på enkelttjenester, har antall signifikante estimater blitt færre og for usikkert å rapportere om. SSB vil prøve ut mer sofistikerte metoder knyttet til matching på enkelte større tjenester til oppdragsgiverrapporten i år.
    I tillegg gjør SSB på oppdrag fra Nærings- og fiskeridepartementet nå et større arbeid for å se på effekter på tvers av virkemiddelaktørene. Det vil trolig gi mer innsikt i disse forholdene. Det er slett ikke uvanlig at en innovativ bedrift har behov for ulike typer virkemidler, gjerne samtidig. Innovasjonsprosessen er ikke lineær. Er det terskelverdier knyttet til støtteintensitet når det gjelder forventninger om målbar effekt i selskapenes regnskap? Og hva med tidsfaktoren? Er treårs vekstperioder i korteste laget?

    MRS favner bredere enn effektindikatorene
    Vi har kanskje ikke fått godt nok frem at mål- og resultatstyringssystemet (MRS) favner langt bredere enn bare effektindikatorene som SSB har operasjonalisert. MRS-systemet bygger på indikatorer og støttende analyser langs hele resultatkjeden med statistikk fra kundeeffektundersøkelser, evalueringer og andre relevante analyser på egne og andres data. Kundeeffektundersøkelsene har løpt siden 1994 for de fleste finansieringstjenestene og for noen av rådgivningstjenestene fra 2004.
    Det er ingen tvil om at analyser på registerdata også har sine klare begrensninger, selv om de presumptivt skal være mer «objektive» enn hva mange forventer av svar fra kundene. Vi ønsker å knytte kundesurveyene tettere opp mot de økonometriske analysene. Oxford Research og SSB ser på mulighetene for dette nå. Vi har også funnet ut at en av våre søsterorganisasjoner i Spania, CDTI (Centro para el Desarollo Technológico Industrial) som har laget et godt opplegg for nettopp dette.
    Som Nordbakken påpeker har det vært en smule forvirring rundt ulike data i ulike rapporter. Vi har nok også bidratt til denne forvirringen. Etter en gjennomgang viste det seg at det bare var tideler forskjell i estimatene i siste dataproduksjon fra SSBs side, sett i forhold til det som ble produsert til årsrapporten. Da vi leste Civita-rapporten så det ut som om effektene plutselig var blitt borte i SSBs rapport. Men det hadde de jo ikke.

    Ny kunnskap øker innsikten
    Det viktigste nå, er å styrke kunnskapen og få bedre innsikt i hva som gir gode og ikke fullt så gode resultater. Nye svar reiser nye spørsmål. Undertegnede inviterer herved Nordbakken til et møte der vi kan få presentere status i dette arbeidet frem mot neste årsrapport. Vi ønsker alle gode innspill til hvordan vi bedre kan analysere og kommunisere rundt dette.

    Pål Aslak Hungnes, Innovasjon Norge

  3. 3. desember 2015 11:04

    Takk for gode svar, og takk for invitasjonen. Jeg stiller gjerne på et møte, så send meg bare et forslag til tidspunkt, gjerne på epost.

Legg igjen en kommentar

Fyll inn i feltene under, eller klikk på et ikon for å logge inn:

WordPress.com-logo

Du kommenterer med bruk av din WordPress.com konto. Logg ut /  Endre )

Google+-bilde

Du kommenterer med bruk av din Google+ konto. Logg ut /  Endre )

Twitter-bilde

Du kommenterer med bruk av din Twitter konto. Logg ut /  Endre )

Facebookbilde

Du kommenterer med bruk av din Facebook konto. Logg ut /  Endre )

Kobler til %s

%d bloggere like this: