Artikelen bij COM(2016)550 - Resultaten van de eindevaluatie van het ISA-programma

Dit is een beperkte versie

U kijkt naar een beperkte versie van dit dossier in de EU Monitor.

dossier COM(2016)550 - Resultaten van de eindevaluatie van het ISA-programma.
document COM(2016)550 NLEN
datum 1 september 2016
EUROPESE COMMISSIE

Brussel, 1.9.2016

COM(2016) 550 final

VERSLAG VAN DE COMMISSIE AAN HET EUROPEES PARLEMENT EN DE RAAD

Resultaten van de eindevaluatie van het ISA-programma

{SWD(2016) 279 final}


Inhoudsopgave

1. Inleiding    

2. Interoperabiliteit als middel om de overheidssector te moderniseren    

3. Achtergrond    

4. Methode    

5. Thema's bij de evaluatie en verdere vragen    

6. Bevindingen    

De verwezenlijking van de doelstellingen van het programma    

6.1.    Relevantie    

6.2.    Efficiëntie    

6.3.    Doeltreffendheid    

6.4.    Nut    

6.5.    Duurzaamheid    

6.6.    Samenhang    

6.7.    Coördinatie    

7. Conclusies van de eindevaluatie    

8. Aanbevelingen    

8.1.    Communicatie met overheidsdiensten en bewustmaking inzake interoperabiliteit    

8.2.    Versterking van de sectoroverschrijdende en holistische benadering van interoperabiliteit    

8.3.    Samenwerking met andere takken van EU-beleid en initiatieven van de EU    

9. Volgende stappen    


1. Inleiding

Op 1 januari 2010 is bij besluit van het Europees Parlement en de Raad (het ISA-besluit) 1 , het zesjarige programma inzake interoperabiliteitsoplossingen (het ISA-programma) van start gegaan; het was een vervolg op het programma betreffende de interoperabele levering van pan-Europese e-overheidsdiensten aan overheidsdiensten, ondernemingen en burgers (IDABC) 2 . Dat besluit werd van 1 januari 2010 tot en met 31 december 2015 ten uitvoer gelegd.

Zoals vermeld in artikel 1van het ISA-besluit, was de doelstelling van het ISA-programma het ondersteunen van samenwerking tussen Europese overheidsdiensten door de bevordering van efficiënte en effectieve elektronische grens- en sectoroverschrijdende interactie tussen deze overheidsdiensten, waaronder ook organen die namens hen overheidstaken uitvoeren, om de levering van elektronische overheidsdiensten ter ondersteuning van de tenuitvoerlegging van EU-beleidsmaatregelen en -activiteiten mogelijk te maken 3

In dit verslag worden de voornaamste resultaten van de eindevaluatie van het programma 4 , dat werd uitgevoerd overeenkomstig artikel 13, lid 3, van het ISA-besluit, gepresenteerd. Volgens deze bepaling moest de eindevaluatie uiterlijk op 31 december 2015 aan het Europees Parlement en de Raad worden meegedeeld. De eindevaluatie is tussen december 2014 en februari 2016 uitgevoerd door de Commissie, toen het ontwerp-verslag van de Commissie door de stuurgroep werd aanvaard. Niettemin hadden de recente veranderingen in de evaluatieprocedures van de Commissie een aanzienlijke vertraging tot gevolg ten opzichte van de termijn die is vastgesteld in de rechtsgrondslag.

Bij de eindevaluatie werd de Commissie bijgestaan door een team van onafhankelijke deskundigen van een adviesbureau (het evaluatieteam). Vertegenwoordigers van de diensten van de Commissie hebben via een stuurgroep van de Commissie toezicht gehouden op de evaluatie 5 .


2. Interoperabiliteit als middel om de overheidssector te moderniseren

De modernisering van overheidsdiensten is één van de voornaamste prioriteiten voor de succesvolle tenuitvoerlegging van de Europa 2020-strategie 6 . Uit de door de Commissie tussen 2011 en 2015 7  gepubliceerde jaarlijkse groeianalyses blijkt in dat verband dat de kwaliteit van de Europese overheidsdiensten rechtstreeks invloed heeft op het economische klimaat en daarom cruciaal is voor het stimuleren van productiviteit, concurrentievermogen en groei.

Zoals vermeld in de jaarlijkse groeianalyse 2013 8 beschouwt de Commissie de grensoverschrijdende interoperabiliteit van onlinediensten en de digitalisering van de Europese overheidsdiensten als belangrijke factoren voor groei en meer efficiëntie. De interoperabiliteit van overheidsdiensten is van doorslaggevend belang voor de verwezenlijking van een efficiëntere en doeltreffendere levering van digitale diensten.

In de Digitale agenda voor Europa 9 wordt erop gewezen dat interoperabiliteit van essentieel belang is om het sociale en economische potentieel van ICT optimaal te benutten, waaruit voortvloeit dat de Digitale Agenda alleen kan slagen als de interoperabiliteit is gegarandeerd. Met de speciale pijler 'interoperabiliteit en normen' zijn de lidstaten aangespoord specifieke maatregelen te nemen met betrekking tot interoperabiliteit 10 , te weten de uitvoering van de toezeggingen in de ministeriële verklaringen van Malmö en Granada, met inbegrip van de omzetting van het Europese interoperabiliteitskader (EIF) 11 in de nationale wetgeving.

Op 24 en 25 oktober 2013 heeft de Europese Raad conclusies 12 aangenomen waarin wordt benadrukt dat de modernisering van overheidsadministraties moet worden voortgezet door middel van de vlotte invoering van diensten die voor hun doeltreffende werking afhankelijk zijn van interoperabiliteit, zoals e-overheid, e-gezondheid, e-facturering en e-aanbesteding. Dit zal leiden tot meer en betere digitale diensten voor de burgers en het bedrijfsleven in heel Europa en tot kostenbesparingen en meer efficiëntie, transparantie en kwaliteit van de dienstverlening in de overheidssector.

De inspanningen van de lidstaten vinden echter vaak op nationaal niveau plaats, zonder een gemeenschappelijke Europese aanpak, waardoor interoperabiliteit op Europees niveau en de beschikbaarheid van grensoverschrijdende openbare digitale diensten in gevaar komen. Daarom is er een groot risico dat nieuwe elektronische barrières ("e-barriers") ontstaan die burgers en bedrijven beletten gebruik te maken van openbare diensten in andere landen dan hun thuisland en die de goede werking van de interne markt verhinderen.


3. Achtergrond

Het ISA-programma is opgericht op basis van de vooruitgang die is gemaakt met de programma's die eraan vooraf gingen (IDA en IDABC). Zoals het ISA-besluit3 duidelijk heeft gemaakt, was de belangrijkste doelstelling van het ISA-programma het ondersteunen van de samenwerking tussen Europese overheidsdiensten om de levering van elektronische overheidsdiensten ter ondersteuning van de tenuitvoerlegging van EU-beleidsmaatregelen en -activiteiten mogelijk te maken. De tussentijdse doelstelling was het bevorderen van efficiënte en doeltreffende elektronische grens- en sectoroverschrijdende interactie tussen die overheidsdiensten.

Om deze doelstellingen te bereiken, de in de artikelen 1 en 3 van het ISA-besluit omschreven werkzaamheden te ondersteunen, en te zorgen voor 'gemeenschappelijke en gedeelde oplossingen die de interoperabiliteit bevorderen' 13 , moesten voor het programma studies, projecten en begeleidende maatregelen worden uitgevoerd, door middel van specifieke acties ter ondersteuning van:

het exploiteren en verbeteren van bestaande gemeenschappelijke diensten, alsmede het invoeren van nieuwe diensten;

het verbeteren van bestaande herbruikbare generieke instrumenten en het invoeren van nieuwe instrumenten;

de totstandbrenging en verbetering van gemeenschappelijke kaders ter ondersteuning van grens- en sectoroverschrijdende interoperabiliteit;

de beoordeling van de gevolgen op ICT-gebied van EU-wetgeving (ISA-besluit, artikel 3).

Volgens de definitie van artikel 2 van het ISA-besluit zijn 'gemeenschappelijke diensten' operationele toepassingen en infrastructuren van generieke aard die voldoen aan beleidsoverschrijdende gemeenschappelijke gebruikersvereisten. 'Generieke instrumenten' zijn referentieplatforms, gedeelde en samenwerkingsplatforms, gemeenschappelijke componenten en soortgelijke bouwstenen die voldoen aan beleidsoverschrijdende gemeenschappelijke gebruikersvereisten. 'Gemeenschappelijke kaders' zijn strategieën, specificaties, methoden, richtsnoeren en soortgelijke benaderingen en documenten.

Het ISA-programma wordt uitgevoerd door middel van uitvoeringshandelingen (ISA-besluit, artikel 9) op basis van een voortschrijdend werkprogramma, dat ten minste één maal per jaar wordt herzien en dat maatregelen omvat voor financiële steun voor één of meer lagen van interoperabiliteit (technisch, semantisch, organisatorisch en wettelijk) 14 . De jaarlijkse werkprogramma’s worden vastgesteld naar aanleiding van jaarlijkse uitnodigingen tot het indienen van voorstellen aan de diensten van de Commissie en de lidstaten, die door het ISA-comité worden goedgekeurd en vervolgens door de Commissie worden vastgesteld voordat zij in werking treden. De specifieke acties waarvoor financiering wordt aangevraagd, zijn opgenomen in het voortschrijdende werkprogramma.


4. Methode

Bij de eindevaluatie van het ISA-programma werd uitgegaan van kwantitatieve en kwalitatieve gegevens die op verschillende manieren werden verzameld (documentonderzoek, online-enquêtes, interviews, schriftelijke verzoeken om aanvullende informatie en casestudies), waarbij zeer uiteenlopende vertegenwoordigers van de lidstaten en van de diensten de EU betrokken waren, en een beperkt aantal belanghebbenden uit het maatschappelijk middenveld en particuliere organisaties die betrokken waren bij het programma.


5. Thema's bij de evaluatie en verdere vragen

De eindevaluatie gebruikt dezelfde criteria als de tussentijdse evaluatie 15 , die dient als maatstaf voor de resultaten. De resultaten, conclusies en aanbevelingen van de eindevaluatie zijn gebaseerd op een brede reeks gegevens, en vormen het harde bewijs dat nodig is om de geldigheid van de interventielogica van het programma en de verwezenlijking van de doelstellingen ervan te controleren. Daarbij ging het vooral om de volgende zeven voornaamste criteria:

— relevantie — in hoeverre zijn de doelstellingen van het programma van belang voor de zich ontwikkelende behoeften en prioriteiten op nationaal en EU-niveau?

— efficiëntie — hoe efficiënt zijn de verschillende inputs omgezet in outputs, en met welke effecten in termen van het optimaal gebruik van middelen? Welke aspecten van het programma zijn het (on)doelmatigst, met name in termen van aangewende middelen?

— doeltreffendheid — In hoeverre zijn met de resultaten en effecten van het programma de doelstellingen ervan bereikt? Zijn er aspecten die effectiever of minder effectief waren dan andere, en zo ja, welke lering kan hieruit worden getrokken?

— nut — in hoeverre stonden de feitelijke en verwachte resultaten en effecten van het programma in verhouding tot de zakelijke behoeften waarvoor zij beoogden een oplossing te bieden? Welke maatregelen zouden kunnen worden genomen om het nut van de acties in het kader van het nieuwe programma te vergroten?

— duurzaamheid — in hoeverre is de financiële, technische en operationele duurzaamheid van de ontwikkelde oplossingen, die worden onderhouden en geëxploiteerd door middel van het programma, gewaarborgd?

— samenhang — in hoeverre maakten de ISA-acties deel uit van een 'holistische' aanpak (is sprake van onderlinge samenhang en samenhang met andere beleidsmaatregelen en initiatieven van de EU)? In hoeverre zijn synergieën tot stand gebracht tussen de acties van het programma en andere EU-activiteiten?

— coördinatie — in hoeverre zijn activiteiten waarbij de lidstaten, waaronder die van het ISA-comité, betrokken zijn, gecoördineerd om te zorgen voor betrokkenheid van de belanghebbenden bij het ISA-programma? In hoeverre zijn activiteiten gecoördineerd met of afgestemd op de behoeften van andere belanghebbenden waarmee de Commissie werd verondersteld om te communiceren in het kader van ISA?


6. Bevindingen

De verwezenlijking van de doelstellingen van het programma

Uit de eindevaluatie kwam naar voren dat het ISA-programma doeltreffend was bij het bereiken van zijn doelstellingen en het leveren van operationele oplossingen om "de samenwerking tussen Europese overheidsdiensten [te ondersteunen] door de bevordering van efficiënte en effectieve elektronische grens- en sectoroverschrijdende interactie tussen deze overheidsdiensten, [...] om de levering van elektronische overheidsdiensten ter ondersteuning van de tenuitvoerlegging van EU-beleidsmaatregelen en activiteiten mogelijk te maken".3 Dit is met name het geval bij gemeenschappelijke kaders, herbruikbare generieke instrumenten en gemeenschappelijke diensten, en voor de beoordeling van implicaties voor ICT van nieuwe EU-wetgeving. Over het algemeen dekken de bereikte en verwachte resultaten en effecten van het ISA-programma grotendeels de zakelijke behoeften die zij beoogden, hoewel sommige acties meer nut hebben dan andere.

Tijdens de evaluatie werd een aantal cruciale gebieden aangewezen waarop wijzigingen in het nieuwe ISA²-programma tezamen het potentieel hebben om relevanter te zijn voor de huidige behoeften op het gebied van interoperabiliteit en het nut ervan te verbeteren. Daarin wordt ook bevestigd dat het ISA-programma bijdroeg tot de uitwisseling en het hergebruik door middel van de vaststelling van gemeenschappelijke kaders. Tot slot bood het ISA-programma de mogelijkheid tot herziening van de richtsnoeren inzake 'beter regelgeven' 16 , om ervoor te zorgen dat de beoordeling van de gevolgen op ICT-gebied duidelijk deel uitmaakt van het effectbeoordelingsproces van de Europese Commissie.

De bevindingen zijn hieronder samengevat:


6.1.    Relevantie

De doelstelling van het ISA-programma ("het ondersteunen van de samenwerking tussen Europese overheidsdiensten door de bevordering van efficiënte en effectieve elektronische grens- en sectoroverschrijdende interactie tussen die overheidsdiensten"), is nog steeds relevant om te kunnen voldoen aan de zich ontwikkelende behoeften op zowel nationaal als EU-niveau. Dit bleek uit de eindevaluatie van de effecten van de ISA-resultaten, maar ook uit de politieke agenda's van de lidstaten, waaruit duidelijk een behoefte aan efficiënte en effectieve digitale openbaredienstverlening12 sprak. Bovendien werd het Europese interoperabiliteitskader (EIF) ontwikkeld, uitgevoerd, en gemonitord door het ISA-programma. De EIF-aanbevelingen en -richtsnoeren laten zien hoe interoperabiliteit door de lidstaten moet worden ingevoerd in de overheidsdiensten; zij zijn erop gericht:

a)de levering van Europese overheidsdiensten te bevorderen en te ondersteunen door het stimuleren van grens- en sectoroverschrijdende interoperabiliteit;

b)de Europese overheidsdiensten bij hun dienstverlening aan bedrijven en burgers te begeleiden;

c)een aanvulling te vormen op en te zorgen voor een band tussen de verschillende nationale interoperabiliteitskaders (NIF’s) op Europees niveau.

Het EIF biedt een gemeenschappelijke opvatting over interoperabiliteit in de Unie, die tot uiting komt in de strategie voor de digitale eengemaakte markt, met inbegrip van een specifieke actie op het gebied van interoperabiliteit tussen overheidsdiensten (actie 15: vaststelling van een plan voor prioritaire ICT-normen en uitbreiding van het Europese interoperabiliteitskader voor overheidsdienstverlening).

De lopende herziening van het EIF bouwt voort op de werkzaamheden van de afgelopen jaren van het nationaal waarnemingscentrum voor het interoperabiliteitskader (NIFO) 17 , dat de uitvoering daarvan in de lidstaten controleert en ondersteunt.

Het ISA-programma draagt bij tot andere acties in het kader van de digitale eengemaakte markt waarvoor interoperabiliteit fungeert als een onderliggende bevorderende factor 18 . De doelstellingen van het programma zijn goed afgestemd op de digitale agenda voor Europa en het Europees actieplan voor elektronische overheidsdiensten 2010-2015, die allebei constateren dat interoperabiliteit een voorwaarde voor succes is. Bovendien stemt het programma goed overeen met de financieringsfaciliteit voor Europese verbindingen (CEF - Connecting Europe Facility), die gericht is op het ontwikkelen van connectiviteit en interoperabiliteit van Europese digitale diensten, aangezien een aantal van de bouwstenen 19 daarvan (bv. e-Delivery, vertaling, e-facturering) afhankelijk zijn van ISA resultaten 20 . De CEF kan operationele steun verlenen voor oplossingen die zijn ontwikkeld en tot wasdom zijn gekomen in het kader van het ISA-programma.

Het ISA-programma heeft actief bijgedragen aan een aantal beleidslijnen van de EU, zoals de eengemaakte markt 21 , de infrastructuur voor ruimtelijke informatie in de Europese Gemeenschap (Inspire) 22 , de gemeenschappelijke gegevensuitwisselingsstructuur (CISE — Common Information Sharing Environment) 23 , het pan-Europese portaal voor open gegevens 24 en het mededingingsrecht 25 , die hebben geprofiteerd van de steun in de vorm van specifieke acties en gezamenlijke oplossingen 26 . In het kader van deze beleidslijnen zijn doelstellingen vastgesteld die voor hun uitvoering afhankelijk zijn van interoperabiliteit.

De behoeften van Europese overheidsdiensten, zoals de modernisering van openbare dienstverlening, de verbetering van de coördinatie tussen de overheidsdiensten van de lidstaten en de diensten van de Commissie, de organisatorische aanpassing in overheidsdiensten en de grotere herbruikbaarheid van oplossingen, die op het tijdstip van de evaluatie vooraf van ISA2 27 en de tussentijdse evaluatie van ISA 28 zijn vastgesteld, bestaan nog steeds. Het vergemakkelijken van de grens- en sectoroverschrijdende dienstverlening op een uniforme en hulpbronnenefficiënte manier vereist hergebruik van bestaande interoperabiliteitsoplossingen op grotere schaal en meer samenwerking tussen de overheidsdiensten van de lidstaten en tussen die diensten en de Commissie. Gemeenschappelijke benaderingen zorgen dat er geen dubbel werk wordt verricht 29 .

6.2.    Efficiëntie

Over het geheel genomen kan het ISA-programma efficiënt worden geacht. In de eerste plaats bleek uit de gegevens van de monitoring en evaluatie 30 dat het programma in de hele periode 2010-2015 werd beschouwd als 'op schema liggend', met een gemiddelde vertraging van minder dan 5 % 31 . In de tweede plaats beliep het totale bestede budget voor de werkprogramma’s voor de periode 2010-2014 128,2 miljoen euro, gemiddeld ongeveer 2 % minder dan de totale toegewezen begroting voor die periode 32 . Op grond van deze bevindingen kan het programma in de begrotingstermen doeltreffend worden geacht30.

Bovendien heeft 90 % van de ondervraagde vertegenwoordigers van de lidstaten en van de ambtenaren van de relevante diensten van de Commissie bevestigd dat het programma op tijd werd geleverd en dat het binnen het oorspronkelijke toepassingsgebied was gebleven 33 . Zoals aangegeven in de ISA-eindevaluatie, voelde een meerderheid van deze belanghebbenden zich enigszins of volledig betrokken bij de jaarlijkse herzieningen van het programma 34 .

De procedure voor de toelating van voorstellen voor nieuwe acties en het vrijgaveproces van de fondsen kan als efficiënt worden beschouwd 35 . De efficiëntie in termen van de toewijzing van personele middelen wordt bevestigd door het feit dat de werkelijke toewijzing altijd lager was dan in het oorspronkelijke ISA-wetgevingsvoorstel voorzien.

6.3.    Doeltreffendheid

Het ISA-programma heeft operationele oplossingen opgeleverd, dat wil zeggen gemeenschappelijke kaders, herbruikbare generieke instrumenten en gemeenschappelijke diensten die bijdragen tot de verwezenlijking van de doelstelling van het bevorderen van een doeltreffende samenwerking tussen Europese overheidsdiensten. In het algemeen was een meerderheid van de geënquêteerden en van de respondenten op de online-enquête van mening dat alle ISA-oplossingen interoperabiliteit tussen die overheidsdiensten vergemakkelijken 36 .

De vaststelling van gemeenschappelijke kaders, zoals het EIF, steunt ook de uitwisseling en het hergebruik van oplossingen met de bijbehorende specifieke aanbevelingen 37 . Het kader voor uitwisseling en hergebruik werd aanvankelijk opgesteld in het kader van ISA, en momenteel wordt daaraan de laatste hand gelegd in het kader van het ISA2-programma.

Het programma is begonnen met de hoogste twee lagen van interoperabiliteit, de lagen organisatorische en juridische interoperabiliteit, beide gebieden met een groot potentieel effect op de modernisering van de overheidsdiensten van de lidstaten, die verder moeten worden ontwikkeld en geconsolideerd.

De beoordeling van de ICT-impact van nieuwe EU-wetgeving, zoals effecten die verband houden met de invoering van nieuwe of de aanpassing van bestaande ICT-oplossingen, maakte deel uit van de effectbeoordeling van de Commissie, in het kader van de richtsnoeren beter regelgeven16. Het ISA-programma is verder gegaan door dergelijke beoordelingen te stimuleren, en de ondersteuning van de DG’s en de diensten die ze uitvoeren, te steunen.

De inspanningen die in het kader van het programma zijn geïnvesteerd in semantische interoperabiliteit, maar ook in het ontwikkelen van nauwere banden met de normalisatie-instellingen, vormden belangrijke bijdragen tot grotere sectoroverschrijdende interoperabiliteit.

Hoewel het programma en de gebruikers van resultaten van ISA bestaande gemeenschappelijke kaders, gemeenschappelijke diensten en herbruikbare generieke instrumenten hergebruiken, moet het programma het hergebruik ervan nog meer bevorderen, zoals opgemerkt door de ondervraagde vertegenwoordigers van lidstaten en ambtenaren van de Commissie 38 .

6.4.    Nut

De behaalde en verwachte resultaten en effecten van het ISA-programma betreffen grotendeels de vastgestelde zakelijke behoeften 39 . Dat heeft geleid tot de opstelling van 23 oplossingen, die vrijelijk beschikbaar zijn op de website 40 van het programma of die worden verstrekt als gemeenschappelijke dienst. Deze oplossingen variëren van systemen ter ondersteuning van de uitvoering van EU-beleid, zoals het informatiesysteem voor de interne markt (IMI), tot de gemeenschappelijke specificaties, zoals het gegevenscatalogus-toepassingsprofiel (DCAT-AP), dat wordt gebruikt in het pan-Europees opendataportaal. Van de 23 oplossingen worden er 15 gebruikt door sommige of alle lidstaten, 14 worden gebruikt door verschillende diensten van de Commissie en vijf worden gebruikt door een aantal andere EU-instellingen. Dit succes is des te opvallender wanneer wordt bedacht dat de lidstaten niet verplicht zijn om de oplossingen te hergebruiken.

De methode die is ontwikkeld voor de beoordeling van de ICT-implicaties van nieuwe EU-wetgeving die in het instrumentarium voor betere regelgeving is opgenomen, wordt op grote schaal gebruikt in de kader van de effectbeoordelingsprocedure16.

Andere maatregelen hebben hun nut bewezen door het wijdverbreide gebruik ervan, zoals blijkt uit de statistieken die zijn verzameld door middel van de maatregelen op het gebied van toezicht en evaluatie 41 .

Vertegenwoordigers van de lidstaten en ambtenaren van de Commissie benoemden het volgende als de vier belangrijkste voordelen van het ISA-programma voor de lidstaten 42

1)het gebruik van ISA-oplossingen 43 ;

2)het bestaan van het programma zelf om mensen meer bewust te maken van het belang van interoperabiliteit en die op de politieke agenda te houden 44 ;

3)het verstrekken van referenties die worden ondersteund door NIFO, zoals het EIF;

4)de verstrekte diensten, zoals het sTESTA-netwerk en het CIRCABC-platform.

Bij de eindevaluatie komt duidelijk naar voren hoe weinig de voornaamste belanghebbenden die werden geïnterviewd of die aan de online-enquête deelnamen — vertegenwoordigers van lidstaten en ambtenaren van de Commissie — bekend waren met het programma 45 . Dit wordt bevestigd door het feit dat de aanvullende maatregelen die alle geënquêteerden en respondenten op de online-enquête suggereerden, ofwel aanwezig zijn ofwel worden ontwikkeld of uitgebreid 46 .

Het nut van het programma voor ander EU-beleid en andere EU-initiatieven en voor de modernisering van de publieke sector in Europa, is groter geworden30. Tot slot moet het feitelijke gebruik (met inbegrip van het aantal gebruikers) van elke ISA-oplossing systematisch worden gemeten en moeten de voordelen van de oplossingen worden gepromoot.

6.5.    Duurzaamheid

Bij de eindevaluatie is gebleken dat de ontwikkelde oplossingen, die in het kader van het programma worden onderhouden en gebruikt, vanuit financieel, technisch en operationeel oogpunt duurzaam waren.

De technische en operationele duurzaamheid van een ISA-oplossing wordt indirect geëvalueerd door de werking en het gebruik ervan, via de metingen in het kader van maatregelen op het gebied van toezicht en evaluatie.

In financiële termen is de duurzaamheid voornamelijk door de voortzetting van het ISA²-programma of van andere EU-initiatieven en -programma’s, zoals de CEF, gegarandeerd. In bepaalde gevallen zouden financieringsmogelijkheden zoals kostendeling en betaling voor gebruik kunnen worden overwogen als manier om de financiële duurzaamheid op de lange termijn te garanderen.

Organisatorische duurzaamheid is ook van essentieel belang voor de algemene duurzaamheid. Langetermijngovernance van oplossingen en diensten moet systematisch worden gepland om de continuïteit te waarborgen 47 . Het is belangrijk op te merken dat informatie over de governance van oplossingen die worden gefinancierd in het kader van het programma, altijd wordt gevraagd in het kader van de jaarlijkse aanvraagprocedure.

6.6.    Samenhang

Bij de definitieve evaluatie is gebleken dat de acties in het kader van het ISA-programma worden meegenomen in een holistische aanpak. Deze holistische aanpak is in januari 2013 voorgelegd aan het ISA-comité 48 ; erkend wordt dat echte interoperabiliteit tussen overheidsdiensten vereist dat aan verschillende fronten wordt gewerkt: strategische doelstellingen, kaders en architectuurrichtsnoeren, ontwikkeling van specificaties en de uitvoering, exploitatie en verspreiding van oplossingen. Bovendien worden het bewaken en in kaart brengen van het interoperabiliteitslandschap in Europa, alsmede de bewustmaking, beschouwd als belangrijke katalysatoren van interoperabiliteit. Een holistische aanpak laat toe dat lacunes worden geïdentificeerd en dat de relevante activiteiten of projecten worden gelanceerd om deze aan te pakken.

Deze alomvattende benadering is niet evident voor ISA-belanghebbenden 49 , die beter vertrouwd zijn met de individuele acties dan met het programma zelf. De geringe bekendheid van de programmasynergieën werd eveneens bevestigd door de geënquêteerden en de respondenten op de online-enquête, hoewel de uiteindelijke evaluatie wees op een verbetering sinds de tussentijdse evaluatie.

Belanghebbenden noemden in de enquêtes en de online-enquêtes slechts één ISA-maatregel (EUSurvey) 50 aanzienlijk vaker dan andere niet-coherent met de doelstellingen van het programme36.

De samenhang werd in de loop van het programma versterkt door een aanzienlijk aantal synergieën die ontstonden tussen acties van EUSurvey en andere EU-beleidsmaatregelen en -initiatieven waarin interoperabiliteit een essentiële factor is voor de uitvoering ervan. Wat duidelijk werd aangetoond en aangepakt via het programma was de noodzaak om op alle beleidsdomeinen, horizontaal, te zorgen voor interoperabiliteit. Deze horizontale dimensie ontbreekt in de domeinspecifieke toepassingen. ISA creëerde synergieën met gebieden zoals de interne markt, het mededingingsrecht, INSPIRE, CISE, het pan-Europees opendataportaal en, meer recentelijk, de financieringsfaciliteit voor Europese verbindingen (CEF - connecting Europe Facility), die tot op zekere hoogte gebaseerd is op de resultaten van het programma.

Een horizontale benadering van interoperabiliteit biedt tastbare voordelen die in sectorspecifieke benaderingen en oplossingen anders niet zouden kunnen worden bereikt. Openbare aanbestedingen, overheidsinformatie, ICT-normalisatie, justitie en binnenlandse zaken, en belasting zijn gebieden die baat zouden kunnen hebben bij een nauwere afstemming op sectoroverschrijdende interoperabiliteitsoplossingen op EU-niveau en de mogelijk daaruit voortvloeiende samenwerking.

In de latere fasen van het ISA-programma zijn synergieën tot stand gebracht met de diensten van de Commissie die verantwoordelijk zijn voor de Europese structuur- en investeringsfondsen (ESIF). In het kader van de thematische doelstelling 11, die gericht is op het vergroten van de institutionele capaciteit en de efficiëntie van overheidsdiensten, kunnen de ESIF nationale, regionale en lokale overheden ondersteunen bij hun streven naar verbetering van de interoperabiliteit als middel om hun overheidsdiensten te moderniseren 51 . Nauwere samenwerking in het kader van het ISA2-programma zou wederzijds nuttige resultaten kunnen opleveren voor het programma en de toepassing van de ESIF in de lidstaten. Daarnaast zorgt actieve betrokkenheid van DG DIGIT in de onlangs opgestarte dienstenoverkoepelende groep inzake kwaliteit en innovatie van het openbaar bestuur 52 voor samenwerking tussen het programma en de Europese structuur- en investeringsfondsen.

De inspanningen in het kader van het programma en door DG DIGIT hebben tot nauwere banden met de IT-governance van de Commissie geleid.

6.7.    Coördinatie

Tijdens de uitvoering van het programma is een goede coördinatie van formele activiteiten met de lidstaten en met de diensten van de Commissie tot stand gebracht, in overeenstemming met het ISA-besluit (artikelen 12 en 14). Twee derde van de vertegenwoordigers van de lidstaten en meer dan de helft van de ambtenaren van de Commissie waren het er enigszins of volledig mee eens dat de interactie tussen het ISA-programma en de belanghebbenden er doeltreffend in is geslaagd om te zorgen voor een samenhangende uitwisseling van informatie, standpunten en beste praktijken 53 .

Bovendien is in het kader van het programma een goede coördinatie van activiteiten met belanghebbenden buiten de overheid tot stand gebracht om, waar nodig, hun betrokkenheid te waarborgen. Het betreft onder meer, indien relevant en nodig, normalisatie-instellingen, academici, organisaties uit de particuliere sector, de academische wereld en uit derde landen, bijvoorbeeld de Verenigde Staten, Japan en Australië.

In de definitieve evaluatie werden de gezamenlijke, in coördinatie op EU-niveau geleverde inspanningen, waarmee ontegenzeggelijk positieve resultaten zijn bereikt, erkend 54 . De interdepartementale werkgroep inzake openbaar bestuur, kwaliteit en innovatie zal een belangrijke rol spelen bij het verbeteren van de coördinatie van alle Europese initiatieven die bijdragen tot de modernisering van overheidsdiensten in Europa.

De conclusie van de evaluatie luidde dat er ruimte is voor vertegenwoordigers van de lidstaten in het ISA-comité, in de coördinatiegroep en in de werkgroep om tot een betere coördinatie met hun nationale collega's op het gebied van interoperabiliteit te komen om bij te dragen tot het succes van het vervolgprogramma 55 .

Het programma geeft een goed overzicht van de ontwikkelingen op nationaal niveau op het gebied van interoperabiliteit door consolidatie van de informatiebladen van de lidstaten van de reeksen NIFO- en e-overheid op één locatie op het Joinup-platform 56 .

Een meerderheid van de vertegenwoordigers van de lidstaten en van de ambtenaren van de Commissie waren het er enigszins of volledig mee eens dat elektronische platforms die door ISA worden gebruikt om een samenhangende interactie tussen de belanghebbenden onderling en tussen hen en de Commissie tot stand te brengen (bv. Joinup, de ISA-website en het ISA-dashboard), adequaat waren. De belanghebbenden waren zich echter onvoldoende bewust van de resultaten op nationaal niveau (bv. het hergebruik van het programma) en op EU-niveau, en van het gebruik van ISA resultaten door de diensten van de Commissie 57 .


7. Conclusies van de eindevaluatie

De beoordeling was grotendeels positief; geconcludeerd werd dat het ISA-programma was afgestemd op de beleidsprioriteiten van de Unie en de behoeften van de lidstaten 58 . Er werd geconstateerd dat het op doeltreffende en samenhangende wijze was uitgevoerd, waarbij resultaten zijn behaald die door zowel de diensten van de Commissie als de lidstaten worden hergebruikt. Het ISA-programma is doeltreffend gebleken bij het verwezenlijken van zijn doelstellingen en de uitvoering van operationele oplossingen om een doeltreffende samenwerking tussen Europese overheidsdiensten tot stand te brengen, met inbegrip van de beoordeling van de ICT-impact van nieuwe EU-wetgeving. Over het algemeen dekken de bereikte en verwachte resultaten en effecten van het ISA-programma grotendeels de zakelijke behoeften die zij beoogden, en werden de activiteiten van het programma goed gecoördineerd met de belanghebbenden, om zich te verzekeren van hun inzet.

In de conclusies wordt vastgesteld dat er een noodzaak bestaat om in te zetten op verbetering van het hergebruik van ISA-oplossingen en op het aanpakken van nieuwe behoeften. Bovendien is er behoefte om voort te bouwen op de coördinatie van initiatieven op EU-niveau, met name tussen DG’s in het kader van de 'interdepartementale groep met betrekking tot bestuurlijke kwaliteit en innovatie', en tussen de lidstaten en de Commissie om te zorgen voor meer samenhang met andere EU- en nationale initiatieven en voor meer samenwerking met belanghebbenden.

De algemene strategische aanpak van het programma sinds 2013 laat zien dat er sprake is van een samenhangende holistische aanpak in het kader van het ISA-programma. Er zijn synergieën tot stand gebracht tussen de acties in het kader van het programma en andere EU-activiteiten, maar er kunnen nog meer synergieën worden gevonden.


8. Aanbevelingen

Het is belangrijk op te merken dat het ISA-besluit de activiteiten in het kader van het programma vooral richtte op de verwezenlijking van interoperabiliteit tussen overheidsdiensten. Dit zal waarschijnlijk een effect hebben gehad op het gebied van nut, bewustmaking en hergebruik, omdat het toepassingsgebied van het programma geen banden van overheidsdiensten met ondernemingen en burgers omvatte. In sommige gevallen werd niettemin de basis van belanghebbenden op een pragmatische manier verbreed door bedrijven en burgers te betrekken bij de ontwikkeling van interoperabele oplossingen en een meer holistische aanpak tot stand te brengen dan anders mogelijk was geweest.

De noodzaak om bij de ontwikkeling van interoperabele oplossingen na te denken over het verband tussen overheidsdiensten enerzijds en de burgers en de ondernemingen en hun specifieke behoeften anderzijds, wordt steeds duidelijker, aangezien laatstgenoemden de eindgebruikers van alle overheidsdiensten zijn 59 . Het ISA-besluit voorzag niet in maatregelen om in de behoeften van de eindgebruikers te voorzien, maar uit de ervaring met de invoering van het programma en na raadpleging van de 'eigenaars' van de maatregelen en de lidstaten kwam duidelijk naar voren dat dit noodzakelijk was. Deze beperking is aan de orde in de aanbeveling om het toepassingsgebied van het nieuwe ISA²-programma uit te breiden tot bedrijven en burgers.

Uit de evaluatie bleek dat het ISA²-programma moet werken aan de ontwikkeling van een meer systematische 'business-case'-benadering, die ook moet dienen om de aandacht te vestigen op de rol van interoperabiliteit bij de totstandbrenging van economische en maatschappelijke voordelen 60 . Om ervoor te zorgen het ISA²-programma zijn doelstellingen volledig bereikt, moet de Commissie er bovendien naar streven haar personele doelstellingen na te leven 61 , met name aangezien de eigenlijke toewijzing van personele middelen steeds lager lag dan oorspronkelijk in het programma was voorgesteld.

Wat betreft de aanbevelingen in het verslag van de tussentijdse evaluatie, is in het programma voldoende aandacht geschonken aan die betreffende de verbetering van de interactie met belanghebbenden en de aanwezigheid bij grote evenementen, en is constante vooruitgang geboekt bij het aanpakken van de andere aanbevelingen. In de evaluatie is echter geconcludeerd dat de volgende gebieden aanhoudende inspanningen in het kader van het nieuwe ISA²-programma vereisen:

• communicatie met overheidsdiensten en bewustmaking inzake interoperabiliteit;

• versterking van de horizontale, sectoroverschrijdende en holistische benadering van interoperabiliteit;

• samenwerking met andere takken van EU-beleid en initiatieven van de EU.

Bovendien is het eindevaluatieteam van mening dat twee van de elf aanbevelingen van de eindevaluatie van het IDABC-programma nog steeds van toepassing zijn op het ISA-programma; het betreft 62 :

• een gemeenschappelijk 'promotiedocument' dat moet worden opgesteld, met de nadruk op beleidsaanpassingen en synergieën tussen programma’s en initiatieven van de Unie (IDABC-aanbeveling 5);

• informatie over de financiële en operationele duurzaamheid moet meer onder de aandacht worden gebracht en beter worden uitgelegd aan externe belanghebbenden (IDABC aanbeveling 8).

De belangrijkste aanbevelingen zijn:

8.1.    Communicatie met overheidsdiensten en bewustmaking inzake interoperabiliteit 

Tussen 2010 en 2015 hebben ongeveer twee derde van de evenementen die in het kader van het ISA-programma zijn georganiseerd en die zijn gehouden met vertegenwoordigers van de lidstaten en 63 % (25) van de 40 evenementen die door lidstaten zijn georganiseerd en waaraan het ISA-programma heeft deelgenomen, na 2013 plaatsgevonden, dat wil zeggen na de tussentijdse evaluatie. Het programma vergrootte zijn aanwezigheid op conferenties en andere evenementen; van meer dan 60 evenementen waaraan het deelnam, vond driekwart plaats na de tussentijdse evaluatie 63 .

In het kader van het ISA²-programma moet een communicatiestrategie worden bijgewerkt en uitgevoerd, waarbij de nadruk wordt gelegd op doelgerichte inzet, onder meer met sectorale belanghebbenden. Dit zou een oplossing bieden voor de aanhoudende kloof tussen de werkelijke uitvoering van het programma en de perceptie daarvan bij de belanghebbenden 64 .

8.2.    Versterking van de sectoroverschrijdende en holistische benadering van interoperabiliteit

De holistische aanpak die sinds 2013 is gekozen, moeten worden voortgezet in het ISA²-programma, aangezien juridische en organisatorische interoperabiliteit nog in de kinderschoenen staan. De Europese interoperabiliteitsreferentierachitectuur (EIRA) 65 en het Europese interoperabiliteitskaartsysteem (EICart) 66 , waarin de bestaande diensten en instrumenten zijn gedocumenteerd, zullen een grote rol spelen bij de ondersteuning van deze holistische benadering door bij te dragen aan het vaststellen en hergebruiken van bestaande oplossingen, en duidelijk aan te geven waar interoperabiliteitsinstrumenten ontbreken 67 . EIRA en EICart spelen een cruciale rol in de verspreiding van resultaten en een betere omschrijving van de behoeften. Zij zorgen voor meer bewustwording, betere coördinatie en meer synergieën.

Nu de beoordeling van de gevolgen voor de ICT van nieuwe EU-wetgeving is opgenomen in de effectbeoordeling, moet het ISA²-programma zijn beoogde rol blijven spelen en zijn deskundigheid inzetten om deze exercitie te promoten en de DG’s en diensten die dergelijke beoordelingen uitvoeren, te ondersteunen 68 .

Tot slot zou het ISA²-programma niet alleen een meer systematische aanpak van ondersteuning en monitoring van het gebruik van gemeenschappelijke diensten en generieke instrumenten, maar ook van de uitvoering en toepassing van gemeenschappelijke kaders moeten ontwikkelen 69 .

8.3.    Samenwerking met andere takken van EU-beleid en initiatieven van de EU

De inspanningen om het ISA/ISA²-programma aan te passen aan andere relevante beleidsmaatregelen van de EU gaan door, met als voorbeeld de CEF, die een vervolg vormt op haar resultaten. Vanaf 2016 moet ook rekening worden gehouden met het herziene EIF, wanneer oplossingen worden toegepast ter ondersteuning van ander EU-beleid.

Het ISA²-programma moet voortbouwen op de duidelijke verbeteringen in de coördinatie van maatregelen op het gebied van interoperabiliteit en e-overheid door de hele Commissie heen, die na de tussentijdse evaluatie door het ISA-programma tot stand zijn gebracht 70 . Daartoe behoren ook de lopende samenwerking met DG CNECT over de CEF en het nieuwe actieplan inzake e-overheid 2016-2020. Bovendien zijn er plannen om samen te werken met DG EMPL en DG REGIO om na te gaan welke bestaande of nieuwe ISA/ISA2-maatregelen zouden kunnen bijdragen aan de thematische doelstellingen 2 van ESIF ("verbetering van de toegang tot en het gebruik en de kwaliteit van ICT") en 11 ("vergroting van de institutionele capaciteit van overheidsinstanties en belanghebbenden en een doelmatig openbaar bestuur"). Dit vormt een aanvulling op de activiteiten inzake de evaluatie van nationale operationele programma’s en het vaststellen van voorwaarden. Tot slot heeft het ISA-programma blijk gegeven van grote mogelijkheden voor meer samenwerking met, onder meer, DG HOME, DG JUST, DG MARE, DG FISMA, DG GROW en het JRC.

Bij de eindevaluatie wordt de nieuwe dienstenoverschrijdende groep inzake kwaliteit en innovatie van het openbaar bestuur gezien als de belangrijkste drijvende kracht om te komen tot coherente samenwerking en samenhang tussen EU-beleidsterreinen en -initiatieven die bijdragen tot de modernisering van de overheidssector 71 .


9. Volgende stappen

Bij de tenuitvoerlegging van het vervolgprogramma ISA² zal de Commissie de grootst mogelijke aandacht besteden aan de bovenstaande bevindingen en aanbevelingen, door deze te analyseren en te valideren, en problemen aan te pakken, zo nodig in nauwe samenwerking met de lidstaten en andere belanghebbenden, met inbegrip van het bedrijfsleven en de burgers.


(1)

  Besluit nr. 922/2009/EG van het Europees Parlement en de Raad van 16 september 2009 inzake interoperabiliteitsoplossingen voor Europese overheidsdiensten (ISA), PB L 260 van 3.10.2009, blz. 20.

(2)

  Besluit 2004/387/EG van het Europees Parlement en de Raad van 21 april 2004 betreffende de interoperabele levering van pan-Europese e-overheidsdiensten aan overheidsdiensten, ondernemingen en burgers (IDABC), PB L 144 van 30.4.2004, blz. 65 (zoals gerectificeerd in PB L 181 van 18.5.2004, blz. 25) .

(3)

Artikel 1, lid 2, van het ISA-besluit.

(4)

Final evaluation of the ISA programme (eindevaluatie van het ISA-programma), beschikbaar (in het Engels) op: http://ec.europa.eu/isa/library/official-documents/index_en.htm

(5)

Samengesteld uit ambtenaren van het DG Informatica (DIGIT), DG Interne Markt, Industrie, Ondernemerschap en Midden- en Kleinbedrijf (DG GROW), het DG Belastingen en Douane-unie (TAXUD), het Gemeenschappelijk Centrum voor Onderzoek (JRC) en het Secretariaat-generaal.

(6)

 Europa 2020: een strategie voor slimme, duurzame en inclusieve groei, Mededeling van de Commissie COM(2010) 2020 definitief van 3.3.2010, blz. 12.

(7)

  http://ec.europa.eu/europe2020/index_nl.htm  

(8)

Jaarlijkse groeianalyse 2013 van de Commissie, COM(2012) 750 final van 28.11.2012, blz. 13.

(9)

Mededeling van de Commissie aan het Europees Parlement, de Raad, het Europees Economisch en Sociaal Comité en het Comité van de Regio's, Een digitale agenda voor Europa, COM(2010) 245 definitief, blz. 5.

(10)

  http://daeimplementation.eu/dae_actions.php?action_n=26&id_country=1  

(11)

"Naar interoperabele Europese overheidsdiensten", mededeling van de Commissie aan het Europees Parlement, de Raad, het Europees Economisch en Sociaal Comité en het Comité van de Regio's (COM(2010) 744 definitief, bijlage 1).

(12)

  http://data.consilium.europa.eu/doc/document/ST-169-2013-INIT/nl/pdf  

(13)

Artikel 1, lid 1, van het ISA-besluit.

(14)

Zie het Europees interoperabiliteitskader (EIF) voor Europese overheidsdiensten (COM(2010) 744 definitief, bijlage 2), blz. 21.

(15)

Interim evaluation of the ISA programme, 2012 (Tussentijdse evaluatie van het ISA-programma),

http://ec.europa.eu/isa/documents/interim_evaluation_of_the_isa_programme.pdf  

(16)

 Better Regulation guidelines, Commission staff working document (SWD(2015) 111 final);    
Betere regelgeving voor betere resultaten (COM(2015) 215 final) (SWD(2015) 110 final), blz. 18.

(17)

Het nationaal waarnemingscentrum voor het interoperabiliteitskader (NIFO), dat in het kader van het IDABC-programma (interoperabele levering van pan-Europese e-overheidsdiensten aan overheidsdiensten, ondernemingen en burgers) tot stand is gekomen, steunt de tenuitvoerlegging van het EIF op het niveau van de lidstaten, door de omzetting van het EIF in de nationale interoperabiliteitskaders. http://ec.europa.eu/isa/actions/04-accompanying-measures/4-2-3action_en.htm  

(18)

Voorbeelden hiervan zijn de bijdragen daarvan tot de koppeling van ondernemingsregisters, tot de uitvoering van het 'eenmaligheidsbeginsel' (digitale eengemaakte markt, actie 16) via zijn activiteiten op het gebied van basisregisters en tot de doelstelling van de 'eengemaakte digitale toegangspoort', met de werkzaamheden op het gebied van semantiek en de catalogus van diensten.

(19)

  https://joinup.ec.europa.eu/community/cef/og_page/catalogue-building-blocks

(20)

Final evaluation of the ISA-programme, tabel 10: 'Alignment of the ISA programme with CEF', blz 54.

(21)

 Akte voor de interne markt: Twaalf hefbomen voor het stimuleren van de groei en het versterken van het vertrouwen 'Samen werk maken van een nieuwe groei' Mededeling van de Commissie aan het Europees Parlement, de Raad, het Europees Economisch en Sociaal Comité en het Comité van de Regio's (COM(2011) 206 def.), blz. 10.

(22)

Artikel 7 - van Richtlijn 2007/2/EG van het Europees Parlement en de Raad van 14 maart 2007 tot oprichting van een infrastructuur voor ruimtelijke informatie in de Gemeenschap (Inspire),

(23)

Ontwerproutekaart voor de oprichting van de gemeenschappelijke gegevensuitwisselingsstructuur voor de bewaking van het maritieme gebied in de EU, Mededeling van de Commissie aan het Europees Parlement (COM(2010) 584 def.), blz. 3.

(24)

 Open gegevens: Motor voor innovatie, groei en transparante governance, Mededeling van de Commissie aan het Europees Parlement, de Raad, het Europees Economisch en Sociaal Comité en het Comité van de Regio's (COM(2011) 882 definitief), blz. 11.

(25)

 Verslag over het mededingingsbeleid 2012 Verslag van de Commissie (COM(2013) 257 final), blz. 12.

(26)

Final evaluation of the ISA programme, tabel 21: 'Level of adoption of ISA solutions by Commission services', blz. 131.

(27)

Begeleidend document bij het voorgestelde ISA2-programmabesluit (COM(2014) 367 final).

(28)

Interim evaluation of the ISA programme (tussentijdse evaluatie van het ISA-programma), 2012, blz. 172.

http://ec.europa.eu/isa/documents/interim_evaluation_of_the_isa_programme.pdf

(29)

 Final evaluation of the ISA programme, 'Pertinence of the ISA objectives to respond to needs of EU public administrations', blz. 45.

(30)

  http://ec.europa.eu/isa/dashboard/isadashboard  

(31)

Final evaluation of the ISA programme, ‘ISA programme efficiency’: % of delay, blz. 82.

(32)

Final Evaluation of the ISA programme, 'Budget allocation and execution', blz. 67.

(33)

Final evaluation of the ISA programme, 'Conclusion 4', blz. 86.

(34)

Final evaluation of the ISA programme, „Revision process of the ISA Work Programme”, blz. 59.

(35)

Final evaluation of the ISA programme, 'Allocation of financial resources', blz. 66.

(36)

Final evaluation of the ISA programme, 'Conclusion 6', blz. 111.

(37)

Final evaluation of the ISA programme, 'Establishment and improvement of common frameworks', blz. 94.

(38)

Final evaluation of the ISA programme, 'Conclusions 7 and 8', blz. 112 en140.

(39)

Final evaluation of the ISA programme, tabel 18, 'Utility scores at action level', blz. 116.

(40)

  http://ec.europa.eu/isa/ready-to-use-solutions/index_en.htm  

(41)

Final Evaluation of the ISA programme,     'Facilitation of effective interaction between European public administrations', blz. 88 en 89.

(42)

Final evaluation of the ISA programme, Main ISA results perceived,, blz. 88.

(43)

Final evaluation of the ISA programme,     "‘General perceptions on the benefits delivered by the programme", blz. 113 en 114.

(44)

Final evaluation of the ISA programme, figuur 37 "Respondent’s agreement levels on the awareness raising of the ISA programme", blz. 171.

(45)

Final evaluation of the ISA programme, 'Conclusion 9', blz. 141.

(46)

Final evaluation of the ISA programme, 'Coherence', blz. 17.

(47)

Final evaluation of the ISA programme, 'Conclusion 10', blz. 148.

(48)

ISA commissievergadering, 23 januari 2013 — Presentatie van de resultaten van de tussentijdse evaluatie van het ISA-programma.

(49)

Final evaluation of the ISA programme, 'Conclusion 11', blz. 165.

(50)

EUSurvey is een kosteloze open-source webtoepassing waardoor het voor respondenten makkelijker wordt om te antwoorden op de raadplegingen en voor enquêtebeheerders om de resultaten te analyseren.

(51)

Final evaluation of the ISA programme, 'Internal coordination within the European Commission', blz. 167.

(52)

 Dienstenoverkoepelende groep inzake kwaliteit en innovatie van het openbaar bestuur (Ares (2015) 4431139, 20.10.2015).

(53)

Final evaluation of the ISA programme, 'Extent to which interaction between ISA and its stakeholders was effective', blz. 172.

(54)

Final evaluation of the ISA programme, 'Internal coordination within the European Commission', blz. 167.

(55)

Final evaluation of the ISA programme, 'Conclusion 13', blz. 187.

(56)

  https://joinup.ec.europa.eu/community/nifo/home

(57)

Final evaluation of the ISA programme, 'Reuse by ISA of results delivered by other EU initiatives', blz. 163.

(58)

Final evaluation of the ISA programme, 'Conclusions 1, 2 and 3', blz. 56-58.

(59)

Final evaluation of the ISA programme, 'Consideration of results achieved by Member States in the establishment of ISA solutions', blz. 184.

(60)

Final evaluation of the ISA programme, 'Recommendation 5', blz. 200.

(61)

Final evaluation of the ISA programme, 'Recommendation 6', blz. 201.

(62)

Final evaluation of the ISA programme, 'Recommendations from previous evaluations', blz. 190.

(63)

Final evaluation of the ISA programme, 'Conclusion 14 and extent to which the ISA programme raised awareness of the ISA solutions', blz. 188.

(64)

Final evaluation of the ISA programme, ‘Recommendation 4, p. 199, and 'Perceived performance of the ISA programme', blz. 83.

(65)

  EIRA is een referentiearchitectuur voor interoperabele digitale grens- en sectoroverschrijdende openbare diensten.

(66)

EICart is een instrument dat kan worden gebruikt voor de beschrijving en het catalogiseren van de 'oplossingsbouwstenen' (Solution Building Blocks - SBB's) van de ondernemingsarchitecturen, in overeenstemming met EIRA.

(67)

Final evaluation of the ISA programme, 'Recommendation 8 of 9', blz. 202.

(68)

Final evaluation of the ISA programme, 'Recommendation 3 of 9', blz. 198.

(69)

Final evaluation of the ISA programme, 'Recommendation 9 of 9', blz. 202.

(70)

Final evaluation of the ISA programme, 'Recommendation 7 of 9', blz. 201.

(71)

  Advies van het Europees Economisch en Sociaal Comité over de mededeling van de Commissie - Jaarlijkse groeianalyse 2014 (COM(2013) 800 final); zie PB C 214 van 8.7.2014, blz. 46-54.