Review op de evaluatie van de communicatie door het KNMI over afwijking in versnellingsmetingen (bijlage bij 33529,nr.708) - Hoofdinhoud

Officiële titel	Review op de evaluatie van de communicatie door het KNMI over afwijking in versnellingsmetingen (bijlage bij 33529,nr.708)
Document­datum	18-12-2019
Publicatie­datum	19-12-2019
Nummer	2019D52792
Kenmerk	33529, nr. 708
Externe link	origineel bericht
Originele document in PDF

Review op de evaluatie van de communicatie door het

KNMI over afwijking in versnellingsmetingen

Colofon

ABDTOPConsult

Muzenstraat 97

2511 WB DEN HAAG www.abdtopconsult.nl

Irene Nijboer

In samenwerking met Henk Barink (ABD Interim)

ABDTOPConsult

Dichtbij en onafhankelijk

De consultants van ABDTOPConsult zijn lid van de topmanagementgroep (TMG) van de

Algemene Bestuursdienst en worden benoemd door de Ministerraad. Ze zijn rijksbreed en interbestuurlijk inzetbaar voor interimopdrachten, projecten en onafhankelijke advisering bij complexe en (politiek) gevoelige zaken.

Review op de evaluatie van de communicatie door het KNMI inzake afwijking in versnellingsmetingen

Oktober 2019

Inhoud

1 Inleiding 7

1.1 Opdracht 7 1.2 Verantwoording 8

2 Bevindingen review 9

3 Conclusies en advies 13

1 Inleiding

1.1 Opdracht

Het Ministerie van Infrastructuur en Waterstaat (IenW) heeft aan ABDTOPConsult de opdracht verstrekt om een externe review uit te voeren op een interne evaluatie van

het KNMI (Koninklijk Nederlands Meteorologisch Instituut). Het KNMI heeft deze interne evaluatie uitgevoerd op verzoek van de Staatssecretaris van IenW. De aanleiding voor deze interne evaluatie is geweest, dat het KNMI in gebreke is gebleven bij de communicatie over de afwijking in de seismische versnellingsmetingen in Groningen. De Staatssecretaris van IenW heeft in een Algemeen Overleg met de Vaste Kamercommissie van EZK op 25 april 2019 toegezegd een onafhankelijke externe partij de uitkomsten van deze interne evaluatie van het KNMI te laten toetsen.

IenW heeft de opdracht aan ABDTOPConsult als volgt geformuleerd: “Om invulling te kunnen geven aan de toezegging van de Staatssecretaris aan de Tweede Kamer betreft de opdracht om een externe review uit te voeren waarbij de volgende vragen worden beantwoord: • Is het door het KNMI opgezette proces ordelijk doorlopen en toereikend om de onderzoeksvragen te beantwoorden? • Zijn de door het KNMI getrokken conclusies en aanbevelingen navolgbaar uit het doorlopen proces?”

De opdrachtgever heeft gevraagd om een beknopt adviesrapport met de volgende elementen: • Een oordeel over het door het KNMI opgezette en doorlopen proces ten behoeve van de interne evaluatie (op controleerbaarheid en ordelijkheid). • Een oordeel over de uitkomsten van het proces. En dan specifiek, volgen de geformuleerde conclusies en aanbevelingen logischerwijs uit het gedane onderzoek. • Optioneel: een aanvullend advies op hoe een dergelijk incident in de toekomst voorkomen kan worden.

Deze opdracht van IenW is uitgevoerd door Irene Nijboer (ABDTOPConsult) in samenwerking met Henk Barink (ABD Interim).

1.2 Verantwoording

Het KNMI heeft juni 2019 de rapportage “Interne evaluatie communicatie afwijking KNMI versnellingsmetingen” afgerond. De Raad van Toezicht van het KNMI heeft op 25 juni 2019 met een brief aan IenW op deze rapportage gereageerd.

ABDTOPConsult heeft bij deze review de volgende stappen gezet: • Documentanalyse: de onderliggende stukken inclusief de gespreksverslagen van de interviews van de interne KNMI-onderzoekscommissie, de relevante verslagen van de KNMI-vakgroep R&D Seismologie en Akoestiek resp. van de Directieraad van het KNMI zijn geanalyseerd; • Gespreksronde: interviews met sleutelpersonen bij het KNMI (directie, vakgroep, leden interne evaluatiecommissie, staf en Raad van Toezicht), bij EZK en bij SodM; • Feitencheck: de bevindingen uit de concept-rapportage van ABDTOPConsult zijn voor een feitencheck voorgelegd aan de Hoofddirecteur van het KNMI.

In deze review wordt IenW beschouwd als ‘eigenaar’ van het KNMI gelet op de status van het KNMI als agentschap van IenW en EZK als opdrachtgever van het KNMI voor deze seismische metingen gelet op het “Groningen”-dossier.

ABDTOPConsult heeft oktober 2019 dit beknopte adviesrapport aan de opdrachtgever bij IenW aangeboden.

2 Bevindingen review

Toets van de stappen in het proces van interne evaluatie bij het KNMI

Het proces van de interne evaluatie is geordend in de volgende stappen: • De formulering van een vijftal onderzoeksvragen als leidraad; • Een interviewronde met betrokkenen bij het KNMI, EZK, SodM, NCG, NAM; • Raadpleging van documenten.

De interne evaluatie van het KNMI betrof de volgende onderzoeksvragen: • Een reconstructie van de tijdlijn op hoofdlijnen; • Een analyse van de gebrekkige communicatie door het KNMI; • De mate waarin (het gebrek aan) politiek-bestuurlijke sensitiviteit van invloed is geweest; Een beschrijving van de communicatie met stakeholders vanuit de KNMI- vakgroep R&D Seismologie en Akoestiek; • De rol van het kwaliteitsmanagement bij het KNMI in de interactie met stakeholders.

Als vraag 1 is in de externe review aan de orde, of het door het KNMI opgezette proces ordelijk doorlopen en toereikend is om de onderzoeksvragen te beantwoorden. Het antwoord op deze vraag: • De beantwoording van de onderzoeksvragen is beargumenteerd vanuit de resultaten van de interviewronde en de geraadpleegde documenten. • De selectie van interviewpartners sluit aan bij het domein van het onderzoek. • De stappen in deze interne KNMI-evaluatie zijn op een ordelijke en toetsbare wijze gezet.

Conclusies uit de interne evaluatie navolgbaar? In de KNMI-evaluatie zijn samengevat de volgende conclusies getrokken per onderzoeksvraag: • Een reconstructie van de tijdlijn op hoofdlijnen, waarin de gebeurtenissen zijn geschetst tussen augustus 2018 met een eerste presentatie van de afwijking in versnellingsmetingen tot en met de brief van EZK en IenW aan de Tweede Kamer van eind februari 2019. • Een analyse van de gebrekkige communicatie door het KNMI met als conclusies: – “Het KNMI heeft in augustus 2018 de keuze gemaakt eerst het effect van de geconstateerde afwijkende meetreeksen te onderzoeken, alvorens de belangrijkste stakeholders te infomeren. – De afspraak in de vakgroep R&D Seismologie en Akoestiek om de geconstateerde afwijkingen in de meetreeksen van de versnellingsmeters te communiceren naar de stakeholders is als gevolg van een menselijke fout niet gemonitord op uitvoering.

• – 

  Het relatief onderschatten van de politiek-bestuurlijke gevoeligheid door het

KNMI t.o.v. de belangrijkste opdrachtgevers en toezichthouders (EZK, SodM en NCG) heeft in belangrijke mate bijgedragen aan de in gebreke gebleven communicatie. Daardoor is het onopgemerkt gebleven totdat een externe partij van de afwijkende metingen hoorde.”

• • 

  De mate waarin (het gebrek aan) politiek-bestuurlijke sensitiviteit van invloed is geweest met als conclusie: ”Hoewel de seismologen van de vakgroep R&D

Seismologie en Akoestiek van het KNMI die direct betrokken zijn bij politiekbestuurlijk

gevoelige dossiers omgevingsbewust zijn, is er desondanks een

onderschatting geweest door het KNMI van de politieke en maatschappelijke

onrust van de afwijkende meetreeksen.”

• • 

  Een beschrijving van de communicatie met stakeholders vanuit de KNMI- vakgroep R&D Seismologie en Akoestiek met als conclusies:

• – 

  “De communicatie verloopt via wetenschappelijke groepen en bilaterale

contacten. Een gestructureerd overleg met alle stakeholders ontbreekt om tijdig signalen af te geven bij afwijkende meetreeksen of dilemma’s te bespreken.

• – 

  Er is te weinig gesprek over de verschillen in paradigma’s tussen enerzijds de

wetenschappelijke wereld en de wereld van beleid en bestuur.” • De rol van het kwaliteitsmanagement bij het KNMI in de interactie met

stakeholders met als conclusie: “Er is geen KNMI-breed communicatieprotocol

hoe te handelen bij significante afwijkingen in meetreeksen. Desalniettemin

gebeurt het in de meeste gevallen wel. Het is belangrijk dat dit op een goede

manier wordt geborgd in werkprocessen.”

Als vraag 2 is in de externe review aan de orde, of de door het KNMI getrokken conclusies navolgbaar zijn uit het doorlopen proces. Het antwoord op deze vraag is, dat de conclusies uit de interne evaluatie navolgbaar zijn. Echter, de volgende factoren krijgen te weinig aandacht:

• • 

  Vanaf augustus 2018 was bij de vakgroep R&D Seismologie en Akoestiek bekend dat sprake was van afwijkende data in de meetreeksen van de versnellingsmeters.

Binnen deze vakgroep is vervolgens besloten om eerst onderzoek naar de oorzaak

van deze afwijking in de data te doen, voordat men de belangrijkste stakeholders

zou informeren. Deze keuze is niet met de leiding van het KNMI gedeeld en er is ook

niet een vertrouwelijk en eerste signaal aan EZK en aan IenW gegeven. December

2018 is na het vinden van de oorzaak van de afwijking in de data door het hoofd van

de vakgroep besloten om de belangrijkste stakeholders, zoals EZK en SodM, te

informeren. Wat vervolgens, zoals in de interne evaluatie is beschreven, ten onrechte

is uitgebleven. Wat in deze interne evaluatie onderbelicht blijft, is dat met de keuze

op het niveau van de vakgroep in augustus 2018 van uitstel van communicatie,

daarmee de directie van het KNMI, IenW, EZK en SodM onvoldoende in positie zijn

gebracht om hun rol te kunnen spelen en tevens niet konden meedenken over de

best-mogelijke communicatie-aanpak in deze casus. Uit de gesprekken voor deze

review is gebleken dat de opstellers van de interne evaluatie bij nader inzicht vinden,

dat de terugkoppeling naar de Hoofddirecteur en naar de eigenaar en de

opdrachtgever gelijk na constatering van de afwijking had moeten gebeuren.

• • 

  Bij de factor politiek-bestuurlijke sensitiviteit focust de interne evaluatie op de rol

van de vakgroep. Opvallend is echter, dat ook vanaf het moment dat de

communicatiefunctie binnen het KNMI in december 2018 op de hoogte is van de

meetproblemen met de versnellingsmeters en de oorzaak – de fabrieksinstellingen

van de meters – bekend is, nog steeds geen externe communicatie plaats vindt en

ook op dat moment de Hoofddirecteur niet geïnformeerd wordt. De KNMI-evaluatie

doet over het uitblijven van de interne escalatie geen uitspraken. Uit de interviews

voor deze review blijkt, dat hierover binnen het KNMI verschillend wordt gedacht.

• • 

  In de interne evaluatie wordt de nadruk gelegd op de politiek-bestuurlijke

sensitiviteit als ontbrekende factor. Uit de gespreksverslagen van de interne

evaluatie en uit de interview-ronde voor deze review komt naar voren dat

medewerkers in de vakgroep zeer bewust waren van de mogelijke maatschappelijke

gevolgen van deze metingen. En dat juist dit besef heeft geleid tot de actie om eerst

uit te zoeken wat de oorzaak was.

• • 

  Bij de interne evaluatie ligt het zwaartepunt op wat zich binnen het KNMI heeft

afgespeeld. Bij een dergelijke casus kunnen ook lessen worden getrokken door de

andere betrokken partijen. Zeker wanneer het gaat om een dossier waar onderlinge

samenwerking tussen betrokken partijen van het grootste belang is. Wat het effect

van deze casus is geweest op het werkproces bij EZK en SodM en waarmee de

reacties vanuit deze stakeholders in een breder kader kunnen worden gezien, is

weinig in de beschouwing van de interne evaluatie betrokken.

Aanbevelingen uit de interne evaluatie nader bezien

In de interne evaluatie van het KNMI zijn de volgende aanbevelingen opgenomen: • Zorg voor bredere ontwikkeling van het omgevingsbewustzijn en de politiekbestuurlijke

sensitiviteit;

• • 

  Verbeter de Plan-Do-Check-Act cyclus;

• • 

  Ontwikkel een communicatieprotocol voor het omgaan met afwijkingen en wijzigingen van data;

• • 

  Organiseer gestructureerd overleg met de belangrijkste stakeholders in de meetketen;

• • 

  Ontwikkel een communicatiestrategie die handvatten biedt om als wetenschapper in debat te reageren op maatschappelijke vragen of politieke druk.

In deze review is bij vraag 2 ook aan de orde, of de aanbevelingen uit de interne KNMI-evaluatie navolgbaar zijn uit het doorlopen proces. Het antwoord op deze vraag: de aanbevelingen uit de interne evaluatie zijn navolgbaar op basis van de getrokken conclusies. Met als aanscherping in deze review, dat bij het constateren van afwijkingen in data met een mogelijk maatschappelijke impact het van groot belang is dat het management tot en met het niveau van de Hoofddirecteur op korte termijn geïnformeerd wordt. Bij het KNMI is men zeker bereid uit deze casus lessen te trekken. Daarbij kunnen ook de ervaringen van het KNMI in het publieke debat over klimaatverandering gebruikt worden. Tegelijkertijd valt in de gesprekken voor deze review op, dat ook na de interne evaluatie bij het KNMI-management de opvatting overheerst, dat de keuze juist was om de Hoofddirecteur resp. de opdrachtgever en de eigenaar van het KNMI pas te informeren, nadat de oorzaak van de afwijking in de data was gevonden. Een vroegtijdig signaal naar de meestbetrokken stakeholders was in deze casus - gelet op de maatschappelijke gevolgen - ook voor het KNMI beter geweest.

3 Conclusies en advies

Conclusies

Deze review van de interne evaluatie van het KNMI over de communicatie over de afwijking in de versnellingsmetingen leidt gelet op de bevindingen samengevat tot de volgende conclusies: • De interne evaluatie is op een controleerbare en ordelijke wijze verricht. • De uitkomsten van dit evaluatieproces zijn navolgbaar in de conclusies en aanbevelingen van de interne evaluatie. • Binnen het KNMI ontbreekt een eenduidig besef dat bij afwijkingen in seismische data met een mogelijk maatschappelijke impact zo snel mogelijk escalatie naar het niveau van de Hoofddirecteur moet plaatsvinden en vervolgens de belangrijkste stakeholders geïnformeerd worden.

Advies

Bij een dergelijke casus in de toekomst wordt het volgende in overweging gegeven: • Bij het KNMI dient de interne werkwijze zodanig te zijn ingericht, dat bij een dergelijke casus zo spoedig mogelijk de Hoofddirecteur wordt geïnformeerd. De Hoofddirecteur is dan in staat om te bepalen op welke wijze deze informatie met de opdrachtgever en de eigenaar kan worden gedeeld en kan dan tevens de Raad van Toezicht van het KNMI om een oordeel vragen. • Het is van belang om in een overleg op het niveau van de Hoofddirecteur met de eigenaar en de opdrachtgever in vertrouwen informatie te delen als zich wederom een dergelijke casus voordoet. Hierbij is het van belang, dat ook belangrijke stakeholders – zoals in deze casus het SodM – in dit overleg kunnen participeren. • Dit overleg over een dergelijke casus moet naast het delen van gevoelige informatie gericht zijn op een onderlinge afweging van handelingsopties, waarbij in samenspraak en met respect voor elkaars rol de vervolgstappen kunnen worden gezet.

Tenslotte

Kennisinstituten - zoals het KNMI – zijn zich steeds meer bewust, dat wetenschappelijke oordelen in het publieke debat niet meer op voorhand als onomstreden worden beschouwd. Bij het KNMI merkt men dit bijvoorbeeld ook bij het debat over klimaatverandering. Deelnemers aan het publieke debat kunnen zelf andere data verzamelen en daarmee wetenschappelijke expertise betwisten. Tot de missie van het KNMI behoort dat het publiek het KNMI moet kunnen vertrouwen, maar het behoud van dit vertrouwen vergt inmiddels meer sturing op communicatie en vraagt bij mogelijke incidenten op voorhand om meer samenwerking met de partners in de politiek-bestuurlijke omgeving. Dat is een belangrijke les uit dit interne evaluatierapport van het KNMI.

Dit is een uitgave van:

ABDTOPConsult

Postbus 20011

2500 EA Den Haag

abdtc@rijksoverheid.nl

www.abdtopconsult.nl