Mer om effektene av Innovasjon Norges virkemidler

Pål Aslak Hungnes forteller historien om effektmålinger i Innovasjon Norge. (Phototechno)

I del 2 av sin artikkel om  målinger av effekter av Innovasjon Norges virkemidler, gir Pål Aslak Hungnes eksempler på de utfordringene og mulighetene Innovasjon Norge og forskningsmiljøene har stått overfor når de forsøker å måle effektene av selskapets tjenester.

Drøftingen i denne delen er begrenset til den basale «merverdiskapingen» i bedriftene selv – og tar ikke hensyn til ringvirkninger i økonomien eller spillover-effekter i næringslivet knyttet til innovasjonsprosjekter og adopsjon/diffusjon av teknologi- og markedskompetanse.

Del 1 av artikkelen kan leses her!

Effektene av virkemidler kan øke over tid

Allerede i 1997 forsøkte Senter for samfunns- og næringslivsforskning (SNF) i Bergen å evaluere FRAM-programmet med basis i et kvasi-eksperimentelt evalueringsdesign med kontrollgruppe. Men de fant små, om noen, signifikante effekter, men kun på investeringsadferden.

FRAM-deltakelsen så ut til å redusere selskapets usikkerhet og risiko ved å investere i egen bedrift. De fikk mao. mer tro på egne ferdigheter og muligheter.

Året etter ble det gjennomført en evaluering av  Nettverksprogrammet (Econ 1998). Her fant man heller ingen effekter, men det skyldes kanskje at kontrollgruppen overhodet ikke liknet på deltakerne i programmet. Vi la ned Nettverksprogrammet året etter,  mer på tross av enn på grunn av svak dokumentasjon fra Econ sin side. Fordi de fleste som var i målgruppen for programmet allerede hadde deltatt, var etterspørselen etter å opprette nye nettverk sterkt redusert.

Jeg kan huske flere undret seg over hvorvidt det var lurt å legge ned et nettverksprogram nå som vi var på vei inn i «nettverksøkonomien», i forlengelsen av «kunnskapsøkonomien», som vi kalte det den gang. Vi er ofte veldig tidlig ute.

Det samme Nettverksprogrammet, som ble startet opp av Industrifondet i samarbeid med Teknologisk Institutt i 1991 og avviklet av SND i 1998, ser imidlertid i ettertid ut til å ha vært meget vellykket i følge nyere studier (NHH 2009, Kvitastein, O.). Det er oppsiktsvekkende at effektene av et nettverksprogram ser ut til å kunne spores i mer enn seks år etter deltakelse i programmet.

I dag har også SSB kunnet dokumentere langtidseffekter av deltakelse i klyngeprogrammene våre etter tre års deltakelse. De første pilotene til klyngeprogrammene startet opp i SND i 2001, tre år etter at Nettverksprogrammet ble nedlagt, og er skalert opp betydelig etter etableringen av Innovasjon Norge i 2004.

Flere faktorer

Både valg av evalueringsmetode, evaluererens statistiske ferdigheter og tidsfaktoren er svært viktig når resultater og effekter av vår virksomhet skal evalueres.

Figuren under  viser merverdiskapingen i de deltakende bedriftene sett i forhold til ikke-deltakende bedrifter før og etter deltakelse (forskjeller på forskjellene). Denne undersøkelsen, gjort 11 år etter sluttevalueringen i 1998, konkluderer altså helt annerledes. Dette viser med all mulig tydelighet at både valg av evalueringsmetode, evaluererens statistiske ferdigheter og tidsfaktoren er svært viktig når resultater og effekter av vår virksomhet skal evalueres.

Men ikke misforstå – det er åpenbare svakheter også ved metoden NHH benyttet i 2009. Det er ganske sikkert ikke mulig å evaluere seg fram til et endelig svar med to streker under. Man står alltid overfor valg som må tas med skjønn og en viss pragmatisme, så det finnes ingen 100 % objektive svar, heller ikke ved bruk av objektive data som registerdata.

Men ved å nærme seg problemstillingen fra flere hold, og ved bruk av velkjente metoder, kan man etter hvert begynne å bygge sten på sten i en argumentasjonsrekkefølge inn i en samfunnsøkonomisk lønnsomhetsanalyse, selv om det ikke kan føres som sikre «bevis».

Merverdiskaping for deltakerne i Nettverksprogrammet, 1992-1997. Tallene er gjennomsnitt per virksomhet, justert for beregnede provenytapsjusterte bevilgninger per deltakende bedrift. Estimatene fra 2002 er gradvis mer og mer usikre.

SND-evalueringen

Kun to år etter at Nettverksprogrammet ble evaluert og terminert, gjennomførte Technopolis Ltd, Brighton, i samarbeid med bl.a. Step-gruppen, en utmerket evaluering av Statens nærings- og distriktsutviklingsfond i sin helhet (2000). SND inngikk senere i Innovasjon Norge.

Det ble gjort et solid teoretisk håndverk, bl.a. ble nyere innovasjonsteorier introdusert, og man supplerte begrepet markedssvikt med begrepet systemsvikt, eller koordineringssvikt, om man vil.

Geografene lanserte begrepet «kontekst sensitivt» i forbindelse at de presiserte viktigheten av at SND burde jobbe ulikt i ulike regioner, siden forutsetningene er så forskjellige. Dette ble brukt som begrunnelse for en ny satsing på regionale nettverk for innovasjon i samarbeid (ARENA-programmet). Innretningen var litt annerledes enn i det nedlagte nettverksprogrammet, nå mer mot noe større regionale nettverk i verdikjeder, eller næringsklynger om man vil, innenfor den teoretiske rammen av «triple helix»-modellen.

Man hadde imidlertid ingen ambisjoner om  å gjøre kvasi-eksperimentelle analyser eller å gjøre en samfunnsøkonomisk kost-/nytteanalyse. Forskerne dukket ned i store mengder data, men holdt på å knekke nakken i forsøket.

Veien fram til bedre empiri

Etter FRAM og Nettverksevalueringene i hhv. 1997 og 1998, fant vi (SND i samarbeid med Forskningsrådet) det hensiktsmessig å starte jakten på bedre økonometriske effektmålinger basert på objektive registerdata (i samarbeid med SNF i Bergen i 2001/2002). Dette resulterte i SNF-rapport 30/02, Offentlige evalueringer som styringsinstrumenter. Kravspesifikasjoner og kontrollproblemer, av  førsteamanuensis Olav A. Kvitastein.

Denne  ble presentert for EVA-forumet (Evalueringsforumet som «virkemiddelkameratene» hadde etablert og som DFØ senere har overtatt og videreutviklet). Rapporten var ikke en evaluering i seg selv, men en orientering om ulik metodikk for gjennomføring av evalueringer — med vekt på langtidseffekter.

Forskningsrådet var litt mindre interessert enn oss, bl.a. fordi de ikke forventet å finne særlige effekter ved bruk av denne metoden. Det skyldes kort og godt at de hadde alle store bedrifter som forsker som kunder og det ville være vanskelig å finne en relevant kontrollgruppe til disse. Det har SSB bekreftet i sine analyser (2016) og de måtte velge en annen metode for å evaluere Forskningsrådet.

I 2003 ble vi i SND opptatt med fusjonen til Innovasjon Norge. Det gode samarbeidet med Forskningsrådet og Eksportrådet om analyser og strategiutvikling organisert i et treårig prosjekt (FSA) ble satt på vent. Vi tok imidlertid opp arbeidet i regi av Evalueringsforumet som vi hadde startet i fellesskap med Forskningsrådet og Eksportrådet.

Neste rapport kom i 2009. Den kommer jeg tilbake til under.

Røtnes og Kvitastein

«Evalueringen viser at Innovasjon Norge med stor sannsynlighet bidrar til økt verdiskaping i Norge.» Det står skrevet i første setning på side 1 i oppsummeringen av evalueringsfunnene i den store Innovasjon Norge-evalueringen fra 2010.

Analysene i evalueringen kunne ikke gi et godt svar på hvorfor. Rolf Røtnes viste derfor til empiriske undersøkelser utenfor evalueringen[1]. Røtnes’ vurdering var at de andre analysene viser at verdiskapingen ville vært lavere uten Innovasjon Norges virkemidler. De eksterne empiriske undersøkelsene Røtnes henviste til var Olav Kvitasteins NHH-notat fra 2009[2], der konklusjonen var:

De fire tiltakene Kvitastein evaluerte langtidseffekter av var distriktsrettede risikolån, distriktsrettet investeringstilskudd, FRAM og Nettverksprogrammet.

De årlige estimatene på vekst i verdiskaping er oppsummert i tabell 36 (på side 153) og er om lag på samme nivå  som de SSB nå finner og høyere – og signifikante for FRAM også. For å få effekttall på samme format som SSB tar man effect size x 100 i tabellen. Disse er varige og ikke avgrenset til 3 år slik SSBs estimater er, og de var signifikante:

Kvitastein gjorde forsøk på å måle «avkastningen» målt i forskjeller i verdiskaping mellom våre kunder og kontrollgruppen gjennom det han kalte ulike scenarier. Han benyttet to ulike metoder som viste ganske like resultater.

Samfunnsøkonomisk nytte for de finansielle virkemidlene han så på kan leses av akkumulert på y-aksen – arealet mellom kurvene og den/de striplete linjene i figuren under. Det er to stiplete linjer fordi kostnadene vil variere med om man taper 30 % i løpet av de første fem årene eller i løpet av ti år. Ti år er nok det mest plausible scenariet.

I beregningene har han lagt inn en kalkulasjonsrente på 7 % (som er satt lavere i dag), og en skatteinnkrevingskostnad på 21 %, noe som er vanlig i kost-/nytteanalyser på bruk av skattekroner. Dette var et forsøk på å illustrere effektene målt i merverdiskaping basert på tall for årgangene 1990-1995. Administrasjonskostnadene er ikke inkludert.

De akkumulerte estimatene på merverdiskaping som følge av distriktsrettede risikolån og investeringstilskudd krysser de striplete linjene (kostnadene) etter ganske få år. Aller best kommer de ut de som både har fått risikolån og investeringstilskudd (figuren til høyre).

Hvis man leser av estimert merverdiskaping på y-aksen i mill kr i 2005, vil du se at vi er over 25 mrd. for de 1254 sakene. Dersom vi antar at tapsfondet er tapt etter ti år (mer plausibelt enn fem år?), har du 20 mrd. i merverdiskaping i selskapene til å «finansiere» vår administrasjon og basiskostnader.

Gitt 100 % kausalitet mellom innsats og effekt, hadde det ikke vært vanskelig å argumentere for at dette er svært samfunnsøkonomisk lønnsomt – også etter at administrasjonskostnadene er med. 15-20 mrd. i merverdiskaping, er nok til å dekke administrasjonen av hele Innovasjon Norge virksomhet i 15-20 år, bare med utgangspunkt i nær 6000 distriktspolitiske tilsagn over KMDs virkemiddelbudsjett over en femårsperiode. Og da har vi ikke sett på indirekte effekter ennå.

Jeg synes det er verdt å notere seg at disse beregningene er gjort med basis i relativt beskjedne estimater for merverdiskaping – hhv. 5,1 prosentpoeng for lån, 2,8 prosentpoeng for investeringstilskuddet og 5,7 prosentpoeng årlig for de som har fått begge deler.

Kvitastein beregnet også internrentene for de to finansielle ordningene, hver for seg og samlet, for de to ulike metodene og for hhv. 5 og 10 års-scenariet for 30 % tap på risikolån. På side 133 finner man at IRR (Initial Rate of Return) er på 31,8 %. Det er et godt over det samfunnsøkonomiske «kravet» på 7 %.

Det er jo hyggelig lesing. Og om vi kan tro på det, en bekreftelse på at Innovasjon Norge virker – også i distriktene. Det var ingen grunn til å tro at effektene var svakere i sentrale strøk.

Valget av å analysere de distriktsrettede ordningene spesielt var kort og godt at vi hadde bedre historiske data og lengre dataserier. Vi jaktet først og fremst på langtidseffekter. Jeg mener dette sannsynliggjør at det er en positiv samfunnsøkonomisk nytte av de distriktsrettede risikolånene og investeringstilskuddet.

Står effektene i forhold til kostnadene?

Professor Arild Hervik i Møreforsking ledet i 1997 et offentlig utvalg og skrev en NOU på dette temaet. Halgeir Aalbu (nå KMD) ledet et utvalg i 2004 som så på effekter av den brede regionalpolitikken. De fremhever bl.a. at den lille distriktspolitikken gjennom oss må vurderes inn i en kontekst av flere andre, store ordninger som differensiert arbeidsgiveravgift og andre tiltak.

Det er viktig å finne en god miks av virkemidler skal man nå målene. Dette gjelder fortsatt, og i dag må vi i tillegg finne god miks av virkemidler i samspill med økende innsats fra Enova, Forskningsrådet (BIA) og Skattefunn. Det er naturlig at innsatsen trappes opp når oppmerksomheten om innovasjon øker.

Å gjøre kost-/nytteanalyser ved større veibyggingsprosjekter er komplisert. Det er ikke enklere å beregne i tusener på tusener av prosjekter som vi har i vår portefølje. Vi må også huske at det er langt enklere å definere kostnader enn samfunnsøkonomisk nytte («inntektssiden»).

Men selv om det er enklere, er det ikke nødvendigvis enkelt. Det forutsetter for eksempel at det ikke er store negative effekter som følge av konkurransevridning. Offentlig inngripen på områder der kommersielle aktører opererer vil som regel være konkurransevridende. Kunsten er å begrense slike effekter ved å unngå å støtte substitutter og skape uønskede og urimelige vridninger.

Etter at EØS-avtalen og statsstøtteregelverket trådte i kraft i 1992, er det slående hvor få klagesaker som har blitt sendt til ESA (EFTA Surveillance Authority). Bare en håndfull er innklaget. Det kan bety at vi har lykkes ganske bra med å ta hensyn til dette og da bør denne praksisen videreføres: Men det kan også skyldes noe så enkelt at det er litt krevende å gå til det skritt å klage til ESA.

Problemer med å måle bedriftsøkonomiske effekter

Både SNF/NHH og SSBs metoder for effektmålinger måler kun den delen av nytten som knytter seg til effekter i bedriftene, dvs. den merverdiskapingen utløst i enkeltbedriftene som følger av hjelpen de får. Estimatene er gjennomsnitt over hele eller deler av porteføljen vår over treårsperioder.

Det viser seg vanskelig å dele opp porteføljen for mye fordi det krever et visst antall skal man få statistisk signifikante resultater. Eksakt matching som de nå legger til grunn når kontrollgruppen skal etableres, er krevende. Bortfallet er derfor stort.

Å måle effekter gjennom kvasi-eksperimenter er meget krevende. Man forsøker gjennom kontrollgrupper og økonometri å finne det kontrafaktiske uten å gjennomføre faktiske eksperimenter.

Det er også begrensninger i data. Bruk av årsregnskapene knytter seg til hele virksomheten (kun aksjeselskap), ikke prosjektene vi har utløst. SSB gjør heller ingen forsøk på å se innsatsen opp mot størrelsen på bedriften eller ringvirkningene økt verdiskaping i bedriftene vil gi i økonomien for øvrig.  Suksess vil gi betydelige og langvarige ringvirkninger vertikalt i verdikjedene bedriftene inngår i og som følge av medarbeidernes bruk av lønna som bidrar til sysselsetting i andre virksomheter.

Videre er en viktig effekt knyttet til at kompetansen utvikles i forsknings-, utviklings – og innovasjons-prosjektene i en bedrift og spres til andre ved at folk skifter jobb, etc.

SSBs effektmålinger

Likevel – det er relevant å se estimatene SSB har på merverdiskaping knyttet til utvalgte, større ordninger, opp mot NHH/Kvitasteins estimater. De effektestimatene vi har som er splittet opp på enkelttjenester etter prinsippet om «største bruker» for de finansielle tjenestene, er:

Verdiskaping	Mervekst	Signifikans*
NFD, Innovasjonslån og garantier	10,86	***
NFD, Landsdekkende etablerertilskudd	6,91	ikke sign.
NFD, Forsknings- og utviklingstilskudd	6,06	**
NFD, Lavrisikolån	6,48	***
KMD, Investeringstilskudd	3,79	***
KMD, Distriktsrettede risikolån og garantier	8,19	***
KMD, Bedriftsutviklingstilskudd	3,33	***
KMD, Distriktsrettet etablerertilskudd	11,02	***
FRAM	0,22	ikke sign
Internasjonal markedsrådgiving	5,45	*

*** er 99 prosent sannsynlig, ** 95 % sannsynlig og * 90 % sannsynlig

På samme vis som NHH (Kvitastein) gjorde finner SSB positive estimater for merverdiskaping både for distriktsrettet risikolån og investeringstilskuddet. SSB har ikke gjort en analyse på dem som har fått begge deler separat.

Estimater for verdiskaping er ikke signifikant for FRAM og landsdekkende ETIL. FRAM har lave estimater, mens NFDs Etablerertilskudd høyere verdi. At sistnevnte ikke er signifikant skyldes trolig at det er for kort tid siden denne ordningen ble skalert opp (fra og med 2009). Det er dessuten lavere effekt for tilskudd enn lån, og betydelig høyere for risikolån enn for lavrisikolån.

Det er spennende at vi får positive og signifikante estimater også på internasjonal markedsrådgivning. Det er tross alt en form for «myk» støtte som man kanskje ikke alltid skulle tro utgjør en stor og viktig del av virksomhetens samlede aktivitet.

Selv om metodene over varierer litt, er styrken at man ser ut til å komme fram til noenlunde like effektestimater, «litt uavhengig» av metodevalg.

Måle samfunnsnytte ved bruk av SSBs metode

Kan vi bruke SSBs nye estimater med sin metode på en årlig mervekst på seks prosentpoeng over en treårsperiode i verdiskaping blant Innovasjon Norge-kundene, på nyttesiden i et samfunnsøkonomisk regnestykke?  Det hadde jo vært drømmen. La oss leke litt med et regneeksepmel.

Hva betyr en årlig mervekst på seks prosentpoeng egentlig? Målet mitt med illustrasjonen under er å gi økt forståelse for internt og eksternt i et språk som det også er mulig for ikke-økonomer å forstå.

Verdiskaping, bearbeidingsverdi eller bruttoprodukt – kjært barn har mange navn. I effektanalysen er den definert som driftsresultat før renter, skatt, avskrivninger og korrigert for opp-/nedskrivninger (EBITDA) pluss lønn. Det er det nærmeste vi kommer et uttrykk for hva bedriften skaper av verdi som skal avlønne arbeid og kapital, basert på regnskapstall.

La oss ta utgangspunkt i SSBs omtalte effektberegninger. To år på rad har SSB beregnet en merverdiskaping på om lag 6 prosentpoeng årlig over en treårsperiode for våre kunder. Det vil si at Innovasjon Norge sine kunder etter tre år i gjennomsnitt har 18,5 prosent høyere verdiskaping enn kontrollgruppen av sammenliknbare bedrifter som ikke har benyttet Innovasjon Norge.

I vår kundeportefølje er det imidlertid 190 store ASA og AS-er der man kan spørre seg hvor stor effekt på Innovasjon Norges støtte har på den totale virksomheten. Disse er derfor tatt ut av beregningene under. (Vi mister imidlertid på dette viset noen store som var små og mellomstore da vi samarbeidet med dem og hvor vi bidro vesentlig til vekst.)

Når vi tar ut de 190 store, står vi igjen med 10 061 aksjeselskap med en omsetning under 1 mrd. kroner som Innovasjon Norge-kunder i 2015. Dette er under 4 prosent av alle som har levert regnskap til Brønnøysund-registrene. Innovasjon Norge-kunder med en omsetning under 1 mrd. kroner hadde en gjennomsnittlig verdiskaping på 10,8 mill. kroner i 2015. De kundene som er med i SSBs effektanalyser har litt lavere gjennomsnittlig verdiskaping i 2015, 8,5 mill kroner.

Legger vi til grunn de to gjennomsnittene vi har funnet, får vi at verdiskapingen i våre kundebedrifter var et sted mellom 85 mrd. og 108 mrd. kroner i 2015. Hvis vi antar at bedriftene som følge av at de har benyttet Innovasjon Norges tjenester har en verdiskaping som er 18,5 prosent høyere enn de ville ha gjort uten vår støtte (se figur), så betyr det mellom 16-20 mrd. i «merverdiskaping» i våre kundebedrifter. Bare i 2015.

I teorien vil effekten vare en stund — hvor lenge vil avhenge av hvor raskt ny kunnskap forvitrer og av bedriftenes innovasjonsevne. For å sitere Ådne Cappelen: «SSB finner at Innovasjon Norges innovasjonsaktiviteter påvirker aktiviteten signifikant positivt hos bedrifter som får støtte».

16-20 mrd i årlig merverdiskaping i porteføljen er formidabelt og for godt til å være helt sant! Og det er jo heller ikke tall vi kan sette to streker under og ta all ære for. Verden er mer kompleks enn som så; vi kan ikke påberope oss full kausalitet.

Jeg vil trekke fram følgende forhold:

• Tiden er en usikkerhetsfaktor – vi vet ikke når effekten kommer – men vi vet at det tar tid og at det vil variere. SSB har valgt treårshorisonter. Det kan være for langt i noen sammenhenger, og for kort i andre. Kunder i 2013 og 2014 har ennå ikke rukket å nå 18 prosentpoeng-nivået, og vi vet jo ikke nøyaktig hvor lenge effekten holder seg for tidligere årganger.
• Vi bidrar inn i prosjekter, men måler her effekter i bedrifter. Det kan være litt optimistisk.
• Uobserverbare forhold, som for eksempel mulige systematiske forskjeller mellom kontrollgruppen og INs kunders ambisjoner og grader av risikovilje/-evne, blir ikke fanget opp i  disse analysene.
• Mange andre gode hjelpere har bidratt til den gode utviklingen – både private og andre offentlige. SSBs rapport 2016/12, «Innovasjons- og verdiskapingseffekter av utvalgte næringspolitiske virkemidler» (Cappelen et al), viser jo dette samspillet: «Alt i alt framstår de virkemidlene vi har evaluert som ordninger som utfyller hverandre, både når det gjelder innretning, størrelse på støttebeløpene og støtteformer.»

På den annen side har SSB (og tidligere SNF, NHH) «bare» beregnet merverdiskaping i bedriftene, ikke ringvirkningseffekter som kryssløpseffekter, diffusjon av FoU og overrisling av kompetanse og ferdigheter til andre selskaper som følge av at folk som har jobbet i bedriftenes innovasjonsprosjekter skifter jobb og anvender innovasjonskompetansen sin andre steder.

Fotnoter

[1] De har senere forsøkt seg på tyngre effektanalyser blant annet i en evaluering av OFU/IFU.

[2] «Measuring the Long-Term Effects of Active Industrial Policies – counterfactual Accounts of the Causal Effects of Governmental Actions», NHH, (Kvitastein 2009)