Lijst van vragen en antwoorden over de voortgang Pilot beleidsevaluaties VWS 2018-2019 - Verbetering verantwoording en begroting - Hoofdinhoud
Deze lijst van vragen en antwoorden i is onder nr. 161 toegevoegd aan dossier 31865 - Verbetering verantwoording en begroting.
Inhoudsopgave
| Officiële titel | Verbetering verantwoording en begroting; Lijst van vragen en antwoorden; Lijst van vragen en antwoorden over de voortgang Pilot beleidsevaluaties VWS 2018-2019 |
|---|---|
| Documentdatum | 25-11-2019 |
| Publicatiedatum | 25-11-2019 |
| Nummer | KST31865161 |
| Kenmerk | 31865, nr. 161 |
| Commissie(s) | Volksgezondheid, Welzijn en Sport (VWS) |
| Externe link | origineel bericht |
| Originele document in PDF |  |
Tweede Kamer der Staten-Generaal
Vergaderjaar 2019-
2020
31 865
Verbetering verantwoording en begroting
LIJST VAN VRAGEN EN ANTWOORDEN
Vastgesteld 26 november 2019
De vaste commissie voor Volksgezondheid, Welzijn en Sport heeft een aantal vragen voorgelegd aan de Minister van Volksgezondheid, Welzijn en Sport over de brief van 10 september 2019 inzake de voortgang Pilot beleidsevaluaties VWS 2018-2019 (Kamerstuk 31 865, nr. 153).
De Minister heeft deze vragen beantwoord bij brief van 25 november 2019. Vragen en antwoorden zijn hierna afgedrukt.
De voorzitter van de commissie,
Lodders
De adjunct-griffier van de commissie,
Bakker
kst-31865-161 ISSN 0921 - 7371 's-Gravenhage 2019
Bent u voornemens in de toekomst nog andere evaluaties aan de pilot toe te voegen, dan wel uit de programmering te halen? Zo ja, welke?
Antwoord 1
Deze pilot heeft als doel om werkendeweg het inzicht in de doeltreffendheid en doelmatigheid van het beleid te vergroten en om op basis daarvan het beleid te verbeteren. De meerjarenprogrammering VWS biedt dan ook ruimte, passend binnen het doel van de pilot, om aanvullende of alternatieve beleidsthema's op te nemen. Mocht u voor de programmering 2021-2022 suggesties hebben, dan ben ik graag bereid daarover met u van gedachten te wisselen.
Waarom is de evaluatie onder nummer 1, samenhang Wet publieke gezondheid (Wpg), Jeugdwet, Wet maatschappelijke ondersteuning (Wmo) uit het overzicht van de programmering gehaald? Kunt u toelichten waar deze evaluatie die voor het jaar 2020 gepland stond, zich op zal richten (Kamerstuk 31 865, nr. 144)? Wanneer kan de Kamer alsnog de taakopdracht voor deze evaluatie tegemoet zien?
Antwoord 2
Voor de evaluatie Samenhang Wpg, Jeugdwet en Wmo zal ik meer tijd nemen voor de vormgeving van de taakopdracht. De focus van de evaluatie is mede afhankelijk van lopende onderzoeken en met het uitstel wordt zo overlap voorkomen. De planning is dat de taakopdracht de tweede helft 2020 aan uw Kamer zal worden aangeboden.
Zijn er naast de tien in de brief opgesomde positieve eerste bevindingen van het Ministerie van VWS als lerende organisatie, ook zaken die tegenvallen in de pilot of anders lopen dan gedacht?
Antwoord 3
Een aantal van de evaluaties had in de opstartfase meer tijd nodig dan vooraf voorzien. In de praktijk blijkt dat bij de start van veel evaluaties tijd nodig is om te komen tot goede onderzoeksvragen, in te zetten vernieuwende onderzoeksmethodieken en een aanpak om de uitvoeringspraktijk actief te betrekken.
In het meerjarenprogramma van VWS is een verschuiving waarneembaar van meer aandacht voor beleidsevaluaties aan de voorkant van het beleidsproces (zoals ex ante en ex durante onderzoeken). Hierin zijn nog vervolgstappen mogelijk door ervoor te zorgen dat het inzicht in de doeltreffendheid en doelmatigheid van beleidsvoornemens (bijvoorbeeld in brieven aan de Kamer) wordt vergroot conform artikel CW 3.1.
Kunt u nader concretiseren hoe en waar de door u gesignaleerde voorzichtige vliegwielwerking binnen de VWS-organisatie zich manifesteert? Worden de ervaringen uit de VWS-pilot ook gedeeld met andere ministeries, bijvoorbeeld in het kader van de Rijksbrede Operatie Inzicht in Kwaliteit?
De eerste evaluatieonderzoeken in het kader van de pilot zijn inmiddels afgerond en aan uw Kamer aangeboden. De opgedane kennis en ervaring wordt nu door VWS betrokken bij de opzet en uitvoering van de nieuwe onderzoeken en tevens gemonitord in het kader van de Evaluatie van de pilot Lerend evalueren (nr. 20). De pilot Lerend evalueren van VWS maakt inmiddels onderdeel uit de operatie Inzicht in Kwaliteit. VWS heeft frequent overleg met het Ministerie van Financiën en andere beleidsde-partementen over de voortgang van de operatie, waarbij opgedane kennis en ervaringen worden uitgewisseld.
Welke voorbeelden of voornemens zijn er om betrokkenen bij het beleid ook zelf actief te betrekken bij de daadwerkelijke totstandkoming van een evaluatie?
Antwoord 5
Bij het ex durante onderzoek «Aanpak overgewicht jeugd» (nr. 03b) en het ex ante onderzoek naar «Gezond, veilig en kansrijk opgroeien» (nr. 03d) is in lijn met de filosofie van de pilot Lerend evalueren een open, onderzoekende aanpak gebruikt.1 Als vervolg op deze onderzoeken wordt ingezet om samen met lokale overheden en uitvoeringspartners te werken aan het gezamenlijke verhaal over preventie voor de jeugd en toe te werken naar ambities voor de lange termijn. De dialoog met gemeenten en andere lokale uitvoeringspartners houdt zowel VWS als lokale partners een spiegel voor: faciliteert VWS daadwerkelijk het lokale veld? En maken lokale partners optimaal gebruik van reeds bestaande best practices en ondersteuningsmogelijkheden? Door in gesprek te gaan met elkaar komen we te weten wat er goed gaat en wat (nog) niet, en wat gemeenten en uitvoeringspartijen nodig hebben om het (nog) beter te doen.
Gedurende de looptijd van de Ex durante evaluatie geneesmiddelenvisie (nr. 09) van een half jaar, hebben medewerkers van VWS, Zorginstutuut en NZa, veldpartijen en hun achterbannen gesproken over het effect van de geneesmiddelenvisie en over bijsturing ervan.2 Door sessies met het veld en overheidsinstanties af te wisselen met sessies waarbij alleen beleidsmedewerkers aanwezig waren, ontstonden er cycli van ophalen, reflecteren en nadenken over bijsturen van beleid. De gekozen vernieuwende vorm van evalueren heeft in dit traject veel opgeleverd. Het bood de kans om velen - direct betrokkenen uit het veld, patiënten en dossier-deskundigen bij VWS, maar ook mensen met meer afstand tot de geneesmiddelenvisie - interactief te betrekken bij het verbeteren van de uitwerking en uitvoering van het beleid.
Een belangrijk onderdeel van de evaluatie Evaluatie Zvw-pgb 2017 (nr. 10) was het koppelen van de leefwereld aan de systeemwereld.3 Dit is gerealiseerd door alle betrokken veldpartijen van meet af aan te betrekken. Zo zijn diepte-interviews gehouden met budgethouders, zorgverzekeraars, wijkverpleegkundigen en beroeps-, branche- en belangenorganisaties. Ook is kwantitatief en financieel onderzoek gedaan op basis van gegevens van alle zorgverzekeraars, Vektis en de Stichting Klachten en Geschillen Zorgverzekeringen (SKGZ) over het jaar 2017.
Kunt u voortaan in de kabinetsreactie bij een evaluatie, indien van toepassing, standaard ook aandacht besteden aan de rol die betrokkenen hebben gespeeld bij de totstandkoming van de evaluatie en aangeven wat hun oordeel is over de uitkomsten van de evaluatie?
Antwoord 6
Ja, ik vind het een goede suggestie om in de kabinetsreactie op een evaluatieonderzoek, indien van toepassing, standaard aan te geven of en zo ja hoe verschillende partijen betrokken zijn geweest.
Wat zijn wat u betreft de belangrijkste lessen uit de tot nu toe uitgevoerde evaluaties?
Antwoord 7
Binnen de pilot wordt op verschillende manieren geëxperimenteerd en nieuwe ervaringen opgedaan. In de voortgangsbrief zijn de verschillende bevindingen al kort toegelicht. De belangrijkste leerlessen zijn:
-
1.Het vooraf expliciet maken van de beleidstheorie is van belang om goed te kunnen evalueren.
-
2.Het koppelen van de leefwereld van mensen met de systeemwereld levert aanvullende inzichten op die van invloed zijn op de maatschappelijke impact van een maatregel.
-
3.Het vaker tussentijds evalueren en het creëren van momenten van bijsturing verhoogt het inzicht en de uiteindelijke maatschappelijke impact van het beleid.
-
4.Bij de keuze van zelf uitvoeren van een evaluatie of uitbesteden aan een externe partij is het van belang om mee te wegen hoe een zo groot mogelijk leereffect (een van de doelstellingen van de pilot Lerend evalueren) voor VWS kan worden bereikt.
-
5.Stappen zetten in de ontwikkeling van een lerende organisatie vraagt om een cultuurverandering, een open houding en kritisch reflectie.
Kunt u voorbeelden geven van beleid dat is aangepast op basis van inzichten uit uitgevoerde evaluaties in het kader van de pilot?
Antwoord 8
Het programma Maatschappelijke Diensttijd (MDT) is vanaf de grond opgezet (nr. 01). MDT slaagt alleen als er breed draagvlak voor is en goed aansluit op de behoeftes van jongeren, deelnemende organisaties en de samenleving.4 Er is daarom voor gekozen om het programma samen met jongeren en betrokken organisaties via proeftuinen in de praktijk te ontwerpen. Om deze ervaringen zo goed en zo snel mogelijk te kunnen benutten, is er een begeleidend onderzoeksprogramma ingezet waarbij de proeftuinen tijdens de uitvoering worden geëvalueerd. Voor deze ex durante evaluatie wordt door actieleren kwalitatief inzicht in de ontwikkeling van het instrument verkregen.5 Daarnaast vindt ook een kwantita- tieve analyse plaats. De bevindingen en aanbevelingen uit het onderzoek zijn/worden tussentijds verwerkt in het ontwerp van MDT en als voorwaarden meegenomen in de volgende subsidieronden voor proeftuinen.
In het kader van de brief Waardig leven met zorg is in 2017 een experiment gestart waarbij de zorg (meer) persoonsvolgend wordt (nr. 15). In regio Rotterdam gaat het om de gehandicaptenzorg, in regio Zuid-Limburg om Verpleging en Verzorging.6 Het experiment heeft de volgende belangrijke nieuwe inzichten opgeleverd:
-
•De landelijke bekostigingsregels zijn gedurende het experiment aangepast, waardoor deze geen belemmering meer vormen voor de totstandkoming van persoonsvolgende zorg.
-
•In het experiment kan een cliëntondersteuner Wlz eerder worden ingezet door zorgkantoren bij de overgang van de Wmo naar de Wlz.
-
•Er is een goede samenwerking tot stand gekomen tussen instellingen binnen de deelnemende regio's, die daardoor elkaar beter weten te vinden en goed op de hoogte zijn van elkaars aanbod. Daardoor wordt de cliënt beter aan passende zorg geholpen op een locatie die zoveel mogelijk bij de wens van de cliënt aansluit.
-
•Binnen zorginstellingen, maar ook tussen zorginstellingen en zorgkantoren, is een betere relatie ontstaan en van daaruit wordt gekeken hoe voor de cliënt zoveel mogelijk de zorg op maat kan worden geleverd op de meest passende locatie.
Kunt u in toekomstige voortgangsbrieven over de pilot ook een beknopt totaaloverzicht geven van de belangrijkste lessen en van de aanbevelingen uit evaluaties die nog niet zijn opgevolgd? Kunt u daarbij ook de reden om aanbevelingen niet op te volgen daarbij beknopt vermelden?
Antwoord 9
Met deze pilot wil ik op een passende wijze invulling geven aan de motie-Harbers c.s.7 om de Kamer meer te betrekken bij het evalueren van beleid. Naast het vooraf aanbieden van de taakopdrachten van de komende evaluatieonderzoeken, vind ik het belangrijk om na afronding ook duidelijkheid te geven over de bereikte resultaten van de evaluaties als onderdeel van de pilot Lerend evalueren. Daarom wordt als vast onderdeel in de kabinetsreactie op een afgerond evaluatieonderzoek in een aparte passage ingegaan op de geleerde lessen. In de bijlage bij de voortgangsbrief zijn zoveel mogelijk deze beleidsalternatieven per evaluatie opgenomen. Ik zal toezien op de opvolging van de aanbevelingen en u daarover in de voortgangsrapportages informeren.
Hoe is in de pilot invulling gegeven aan het uitgangspunt dat u formuleerde in antwoord op feitelijke vragen over de pilot in december 2018, dat in alle evaluaties ter advisering verschillende (beleids)alternatieven worden uitgewerkt die meer doeltreffend en/of meer doelmatig zijn? (Kamerstuk 31 865, nr. 124).
In alle evaluaties zijn aanbevelingen gedaan voor verbetering van de doeltreffendheid en doelmatigheid van beleid. In de bijbehorende kabinetsreacties is opgenomen hoe VWS hiermee om gaat.
Kunt u een overzicht geven van meer doelmatige of doeltreffende beleidsalternatieven die de inmiddels verschenen evaluaties hebben opgeleverd?
Antwoord 11
Alle evaluaties hebben beleidsalternatieven opgeleverd. In de ex durante evaluatie van de pilot Lerend evalueren (nr. 20) worden deze beleidsaanbevelingen meegenomen; wat is de aard van de aanbevelingen, worden ze overgenomen en vervolgens ook daadwerkelijk geïmplementeerd? De eindrapportage van de ex durante evaluatie wordt in 2020 verwacht.
Zijn er ook voorbeelden waarbij het beleid daadwerkelijk is veranderd als gevolg van inzichten uit een evaluatie? Zo ja, welke?
Antwoord 12
Ja, hiervan zijn diverse voorbeelden. Zo zijn de aanbevelingen uit de Evaluatie Zvw-pgb (nr. 10) overgenomen in de bestuurlijke akkoorden tussen de betreffende partijen. Bij de experimenten persoonsvolgende zorg (nr. 15) zijn n.a.v. de tussenrapportage de bekostigingsregels aangepast.8 Ook is er meer aandacht gekomen voor onafhankelijke cliëntondersteuning. De aanbevelingen uit de Evaluatie subsidies (nr. 19) zijn uitgewerkt in het project Verbetering subsidiebeheer.9
Kunt u in de toekomst standaard een overzicht opnemen in de voort-gangsbrieven over de pilot waaruit blijkt welke besparende of betere beleidsalternatieven naar voren zijn gekomen in evaluaties, respectievelijk daadwerkelijk zijn geïmplementeerd?
Antwoord 13
Zie hiervoor het antwoord op vraag 9.
Kunt u de volgende zin uit uw brief verduidelijken en concretiseren: «Gezien het streven van de Operatie Inzicht in Kwaliteit om de maatschappelijke impact te vergroten lijkt het interessant om te onderzoeken hoe deze strategische evaluatieagenda's al dan niet met elkaar «mee-ademen» dan wel elkaar kunnen ondersteunen ook in relatie tot de vigerende beleidscyclus»?
In aansluiting op de operatie Inzicht in Kwaliteit onderschrijf ik het belang om de strategische evaluatie- en onderzoeksplanning van departementen te verbeteren.10 De doelstelling van het Ministerie van Financiën is om in de evaluatie- en onderzoeksbijlage bij de ontwerpbegroting van 2021 een eerste kwaliteitsslag te hebben gemaakt waarbij alle departementen een integraal overzicht bieden van hun strategische evaluatie- en onderzoeksplanning.
Waarom heeft u het Rijksinstituut voor Volksgezondheid en Milieu (RIVM) gevraagd om een aanpak en methodiek te ontwikkelen voor de beleidsevaluatie van de Juiste Zorg op de Juiste Plek (JZOJP)?
Antwoord 15
Het RIVM is een onafhankelijk kennisinstituut met ruime ervaring met evaluatieonderzoek op het terrein van de zorg. Voorbeelden hiervan zijn de evaluatie van de proeftuinen populatiemanagement, preventie in het zorgstelsel, integrale bekostiging van de geboortezorg en Kansrijke Start.
Wanneer kunt u de Kamer informeren over de aanpak en de methodiek die het RIVM nu ontwikkelt?
Antwoord 16
Planning is dat het ontwerp van de lerende evaluatie door het RIVM in april 2020 wordt opgeleverd. Het vormgeven van het ontwerp van de lerende evaluatie zal in nauwe samenhang met de veldpartijen plaatsvinden. Het ontwerp vormt de uitgangsbasis van de lerende evaluatie. Ik zal dit ontwerp aan uw Kamer toezenden.
Wie stelt de onafhankelijke voorzitter aan? Is deze al bekend?
Antwoord 17
De Minister voor MZS heeft Wim van der Meeren11 gevraagd als onafhankelijk voorzitter van de begeleidingscommissie van de lerende evaluatie.
Kunt u nader toelichten hoe het doel van de evaluatie om lokale, regionale en landelijke partijen te stimuleren, te ondersteunen en te inspireren, praktisch vormgegeven zal worden?
Antwoord 18
De lerende evaluatie wordt tot april 2020 in afstemming met veldpartijen door het RIVM vormgegeven. Hierin zal nader worden uitgewerkt hoe partijen op lokaal, regionaal en landelijk niveau praktisch ondersteund worden door de evaluatie. Gedacht kan worden aan bijvoorbeeld het opzetten van regionale «learning communities». In deze communities kan worden ingezet op het thematisch kort-cyclisch delen van ervaringen en het verdiepen van inzicht met en van betrokken professionals en bestuurders bij de ontwikkeling en realisatie van specifieke thema's of interventies.
Welke rol ziet u hierbij weggelegd voor respectievelijk de voorzitter, de begeleidingsgroep en het RIVM als uitvoerder?
Antwoord 19
Het RIVM zal een aanpak en methodiek ontwikkelen en vervolgens aan de hand daarvan de evaluatie uitvoeren. De begeleidingscommissie heeft als taak het bewaken van de voortgang en kwaliteit van de evaluatie. De onafhankelijk voorzitter geeft leiding aan deze commissie. De commissie geeft gevraagd en ongevraagd advies aan het RIVM, waarbij de onafhankelijkheid van het RIVM wordt geborgd.
Welke rol speelt u en het Ministerie van VWS in deze beleidsevaluatie? Antwoord 20
Het Ministerie van VWS is opdrachtgever van het RIVM voor het uitvoeren van deze evaluatie. Daarnaast stelt het Ministerie van VWS, in samenspraak met het RIVM, de begeleidingscommissie samen en levert het secretariaat hiervoor. Uiteraard is het ministerie zelf ook onderdeel van de lerende evaluatie. Met het inzicht dat wordt opgedaan gedurende de evaluatie kan het ministerie ook bijsturen op het ingezette beleid. Het Ministerie van VWS biedt immers het veld handvatten om de beweging naar JZOJP te verbreden en te versterken.
Kunt u aangeven waarom u het belangrijk vindt dat gedurende het traject van de evaluatie veldpartijen actief betrokken zijn? Aan welke partijen denkt u hierbij?
Antwoord 21
De JZOJP is een brede beweging die op meerdere niveaus plaatsvindt en waarbij meerdere actoren zijn betrokken. Het doel van de evaluatie is om partijen, of dit nu lokaal, regionaal of landelijk is, te stimuleren, te ondersteunen en te inspireren om de beweging naar de JZOJP verder te brengen door inzicht te geven in de ontwikkelingen en ervaringen. Dat betekent dus ook dat deze evaluatie in nauwe samenhang met deze partijen moet worden opgesteld. Landelijk gaat het dan bijvoorbeeld om de partijen die betrokken zijn bij de vijf hoofdlijnenakkoorden (GGZ, MSZ, wijkverpleging, huisartsenzorg en paramedische zorg). Er bestaat bestuurlijk commitment met de zorgsector over de beweging naar de JZOJP door middel van deze akkoorden. Naast deze partijen kunnen ook andere experts betrokken worden bij de evaluatie. Gedacht kan worden aan experts op het gebied van bijvoorbeeld digitalisering en eHealth.
Welke rol krijgen veldpartijen precies in deze evaluatie? Hoe gaat u dit vormgeven?
Antwoord 22
Het is de bedoeling dat de evaluatie in nauwe samenhang met veldpartijen wordt opgezet en uitgevoerd. Ik heb het RIVM hiertoe de opdracht gegeven. De lessen die volgen uit de kort cyclische terugkoppeling worden teruggelegd op de tafels van de hoofdlijnakkoorden. Mocht bijsturen of aanpassen van landelijk beleid nodig zijn dan kan het op deze bestuurlijke tafels worden afgesproken.
Waarom wordt pas later, in de ex post evaluatie, aandacht besteed aan de vraag of de zorg beter aansluit op de behoeften en het functioneren van mensen?
Antwoord 23
Het functioneren van mensen is het uitgangspunt van de beweging JZOJP. Dit staat centraal gedurende de gehele evaluatie. In de ex post evaluatie zal pas de ontwikkeling door de jaren heen op dit punt inzichtelijk kunnen worden gemaakt.
Kunnen in de evaluatie ex durante ook al uitkomstenindicatoren in beeld gebracht worden?
Antwoord 24
De ex durante evaluatie richt zich in eerste instantie op de randvoorwaarden en brengt, indien mogelijk, geleidelijk aan de prestaties in beeld. De ex durante evaluatie gaat vervolgens over in de ex post evaluatie waar ook naar uitkomstindicatoren wordt gekeken. Mocht het passend zijn bij de ontwikkeling van de beweging naar de JZOJP, dan kunnen uitkomstindicatoren meegenomen worden in de ex durante evaluatie.
Wordt voor het meten van prestaties en uitkomsten nog een nulmeting uitgevoerd?
Antwoord 25
Zoals ik ook aangeef in de taakopdracht gaat het bij de JZOJP om een beweging die al enige tijd gaande is, ook voordat de term JZOJP werd gebruikt.12 Een feitelijk nulmeting kan daarom ook niet worden uitgevoerd. Wel zal de evaluatie de ontwikkelingen in het vervangen, verplaatsen en voorkomen van zorg en het functioneren van mensen in beeld brengen. De gegevensverzameling beslaat voor zover mogelijk/ beschikbaar de gehele onderzoeksperiode (2019-2023).
Hoe worden bijvoorbeeld zaken als het gebruik van eHealth, substitutie van zorg van de tweede naar de eerste lijn en andere manieren om zorg te organiseren, gemonitord en gemeten? In hoeverre kan het effect van JZOJP daarop worden bepaald?
Antwoord 26
Het doel van de evaluatie is om partijen, of dit nu lokaal, regionaal of landelijk is, te stimuleren, te ondersteunen en te inspireren om de beweging naar de JZOJP verder te brengen door inzicht te geven in de ontwikkelingen en ervaringen. Met dit inzicht kan zo nodig door partijen tussentijds bijgestuurd worden. Op verschillende manieren wordt inzicht verkregen in beweging JZOJP. Er wordt bijvoorbeeld een indicatorenset vastgesteld waarvoor kwantitatieve indicatoren gebruikt zullen worden om de ontwikkeling op thema's te kunnen tonen. De thema's worden in samenspraak met de veldpartijen bepaald. Daarnaast wordt ingezet op het regionaal kort-cyclisch delen van ervaringen en het verdiepen van inzicht met en van betrokken professionals en bestuurders bij de ontwikkeling en realisatie van de JZOJP-beweging. Daarbij kunnen ook specifieke thema's worden besproken zoals eHealth. Op deze manier wordt inzicht verkregen in de doeltreffendheid en doelmatigheid van de JZOJP-beweging zonder hierbij op zoek te gaan naar causale effecten van de JZOJP-beweging. Zie ook het antwoord op vraag 25. Het ontwerp van de lerende evaluatie wordt door het RIVM in april 2020 opgeleverd. Het ontwerp vormt de uitgangsbasis van de lerende evaluatie. Ik zal dit ontwerp aan uw Kamer toezenden.
Gaat de methodiek van actie-leren ook daadwerkelijk worden toegepast in deze evaluatie of is dat een vrijblijvende suggestie die aan het RIVM is meegegeven?
Antwoord 27
Deze methode gaat daadwerkelijk worden toegepast. Dit is expliciet meegenomen in de opdracht aan het RIVM. De evaluatie maakt immers onderdeel uit van de pilot Lerend evalueren van VWS.
Wanneer zal de aanbestedingsprocedure voor de evaluatie Actieprogramma Werken in de Zorg starten? Wie besluit welke externe onafhankelijke onderzoekpartij zal worden geselecteerd en op basis van welke criteria?
Antwoord 28
De aanbestedingsprocedure is reeds gestart en vindt plaats onder begeleiding van de Haagse Inkoop Samenwerking (HIS). Beoordeling van de offertes vindt plaats door VWS en een lid van de commissie Werken in de Zorg. Offerteprocedure wordt gegund op basis van beste prijs-kwaliteitverhouding. Hiertoe worden de offertes beoordeeld op de volgende criteria:
-
1.Plan van aanpak
-
2.Planning en coördinatie
-
3.Kennis van en ervaring van het aangeboden team (cv's)
-
4.Prijs
Wanneer kunt u de Kamer informeren over wie deze evaluatie gaat uitvoeren en wat de concrete aanpak van de winnende partij zal zijn?
Antwoord 29
Naar verwachting vindt de gunning begin december plaats. Indien mogelijk zal ik u hierover informeren in de voortgangsbrief van het Actieprogramma Werken in de Zorg van december.
Waarom treedt de commissie Werken in de Zorg op als procesbegeleider en opdrachtgever van het te werven bureau?
Antwoord 30
Deze commissie fungeert als onafhankelijk begeleider, vanuit de onafhankelijke rol die de commissie vervult in het monitoren en stimuleren van de voortgang van de regionale aanpak van de personeelstekorten. Formeel juridisch is VWS opdrachtgever: VWS sluit het contract met de opdrachtnemer en draagt de kosten van het evaluatieonderzoek.
Wat is uw eigen rol en die van het ministerie bij deze evaluatie?
Antwoord 31
Enerzijds is er door de betrokkenheid van mijn beleidsambtenaren in de begeleidingscommissie de mogelijkheid om bij direct betrokkenen navraag te doen over de inhoud en aanpak van de beleidsmaatregelen. Ook kunnen zij de verbinding leggen met in het onderzoek te betrekken stakeholders. Tevens biedt de nauwe betrokkenheid bij de uitvoering van het onderzoek ook volop mogelijkheden om van elkaar te leren. Als bewindspersoon heb ik geen rol in de uitvoering van de evaluatie. Na oplevering van de rapportage zal ik uw Kamer deze aanbieden en daarbij aangeven op welke wijze ik voornemens ben een vervolg te geven aan de evaluatie.
Heeft het inhuren van externe deskundigen, die onder leiding van de commissie Werken in de Zorg op zoek gaan naar verbeteringsmogelijkheden binnen een programma, niet meer het karakter van een externe adviesopdracht dan van een evaluatie?
Antwoord 32
Nee, het betreft een ex durante beleidsevaluatie met een lerend karakter. Uit het onderzoek dat hiervoor plaatsvindt, worden in dat licht aanbevelingen gedaan door de onderzoekers.
Waarom acht u de betrokkenheid van medewerkers, leidinggevenden en bestuurders in het evaluatieonderzoek een must? Wat zal hun rol zijn bij deze evaluatie?
Betrokkenheid vanuit de werkvloer in de zorgorganisaties is essentieel om goed zicht te krijgen op hoe de maatregelen die met het actieprogramma zijn ingezet, op de werkvloer uitwerken.
Wordt met deze taakopdracht beoogd dat een gekwalificeerd onderzoeksbureau ook op zoek gaat naar verklaringen en oorzaken van ontwikkelingen die uit de arbeidsmarktcijfers naar voren komen en dat dit bureau daarbij verbeteringen voor beleid aandraagt?
Antwoord 34
Met de taakopdracht wordt beoogd om op lerende wijze een ex durante beleidsevaluatie te laten uitvoeren, gericht op een doeltreffender en doelmatiger inzet van de acties en maatregelen vanuit het Actieprogramma Werken in de Zorg. Het onderzoek zal een hoofdzakelijk kwalitatief karakter hebben. Over de (cijfermatige) voortgang van het actieprogramma informeer ik u tweemaal per jaar, voor het eerst weer in december van dit jaar.
In hoeverre kunnen verdiepende vragen vanuit de Kamer over arbeids-marktontwikkelingen (bijvoorbeeld naar aanleiding van wat in de voortgangsrapportages naar voren komt) worden meegenomen in dit evaluatietraject?
Antwoord 35
De vragen die over de taakopdracht zijn gesteld, nemen we zo goed als mogelijk mee in de opdrachtverlening en uitvoering van het onderzoek. Zie verder het antwoord op vraag 34.
Hoe verhoudt deze verantwoording en begroting zich tot de Comptabiliteitswet 2016, artikel 3.2 Begrotingsbeheer: «Onze Ministers en de colleges zijn verantwoordelijk voor de ordelijkheid en controleerbaarheid van het begrotingsbeheer»?
Antwoord 36
De opzet van de pilot is in 2017 in goed overleg op ambtelijk niveau met het Ministerie van Financiën uitgewerkt. Hierbij is voor de te evalueren thema's in de pilot een planning voor vijf jaar gemaakt. De thema's zijn complexe beleidsvraagstukken op het brede terrein van VWS. De inhoud staat centraal en wordt niet begrensd door de begrotingsindeling van VWS. Anders dan bij de beleidsdoorlichtingen van voor 2018 worden naast de betreffende uitgaven op de VWS-begroting ook - waar dat aan de orde is - de betreffende uitgaven die vallen onder het Uitgavenplafond zorg betrokken in de evaluatieonderzoeken. Hierbij wordt zoveel mogelijk in de geest van de Regeling Periodiek Evaluatieonderzoek (RPE) gewerkt,
maar er kan gemotiveerd van worden afgeweken. De pilot vervangt de meerjarenplanning beleidsdoorlichtingen uit de begroting.13
Vindt u dat de doelen, evaluaties en verantwoording SMART geformuleerd zijn? Zo ja, kunt u dit aantonen? Zo nee, wilt u de verantwoording en evaluaties in het vervolg wel SMART formuleren en SMART weergeven?
Antwoord 37
In aanvulling op het antwoord van vraag 3. Voor sommige (complexe) vraagstukken zijn de relevante indicatoren niet direct bij de beleidsontwikkeling beschikbaar. Dit heeft invloed op de mate waarin doelen SMART geformuleerd kunnen worden. In deze gevallen wordt met behulp van ex ante en ex durante onderzoek met betrokken partijen samengewerkt om tot de passende indicatoren te komen. Goede voorbeelden hiervan zijn het uitgevoerde Vooronderzoek Langer Thuis14 (nr. 14) en de ex durante evaluatie Geneesmiddelenvisie (nr. 09).
Kunt u aangeven wat de reden is dat de evaluatie van maatschappelijke diensttijd de plaats heeft ingenomen van de evaluatie over samenhang Wpg, Jeugdwet, Wmo?
Antwoord 38
Voor de evaluatie Samenhang Wpg, Jeugdwet en Wmo zal ik meer tijd nemen voor de vormgeving van de taakopdracht. Hierdoor wordt overlap met andere evaluaties voorkomen. De planning is dat de taakopdracht van de evaluatie Samenhang Wpg, Wmo en Jeugdwet de tweede helft 2020 aan uw Kamer zal worden aangeboden. Gezien deze vertraging is de invoering van de maatschappelijke diensttijd (MDT) aan het evaluatiepro-gramma van de pilot toegevoegd. Ik vind dit nuttig omdat VWS in dit traject een aantal van de principes van lerend evalueren (zoals het uitnodigen tot kennisontwikkeling, kennisdeling en kennistoepassing) in praktijk probeert te brengen. Het is verstandig om deze werkwijze tegen het licht te houden en daar lessen uit te trekken.
Hoe wordt binnen de evaluatie aandacht gegeven aan het beginstadium van maatregelen?
Op welke wijze wordt deze aandacht voor het beginstadium van maatregelen geformuleerd?
Antwoord 39 en 40
Maatschappelijke Diensttijd (MDT) (nr. 01) is nieuw. Dat betekent dat het instrumentarium/de maatregelen nog moet(en) worden ontwikkeld. Om de effectiviteit (doelbereik) en doelmatigheid van het instrumentarium optimaal te maken is besloten om dit in co-creatie met jongeren en maatschappelijke organisaties te ontwikkelen. Dit gebeurt in proeftuinen. Door deze proeftuinen ex durante lerend te evalueren worden werkzame elementen voor de definitieve vorm van MDT opgehaald.
De evaluatie heeft een kwantitatieve en een kwalitatieve component. In het kwantitatieve onderzoek worden de proeftuinen en hun deelnemers gevolgd met vragenlijsten die zij invullen.
In het actieonderzoek zijn er 15 proeftuinen in de praktijk gevolgd aan de hand van intakegesprekken, praktijkbezoeken en gesprekken met de jongeren en projectleiders. Er zijn daarnaast podiumbijeenkomsten voor alle proeftuinen georganiseerd waar kennisdelen en data valideren tussen proeftuinen centraal stond. Deze werkwijze wordt als lerend evalueren geformuleerd.
Waarom is de evaluatie onder nummer 1, Samenhang Wpg, Jeugdwet, Wmo uit het overzicht van de programmering gehaald? Kunt u op hoofdlijnen toelichten waar deze evaluatie zich op zal richten die (volgens uw brief van 27 mei 2019) in 2020 gepland stond? Wanneer kan de Kamer alsnog de taakopdracht voor deze evaluatie tegemoet zien?
Antwoord 41
Zie hiervoor de antwoorden op vraag 2 en 38.
Wat zijn wat u betreft de vijf belangrijkste lessen uit de tot nu toe uitgevoerde evaluaties?
Antwoord 42
Zie hiervoor het antwoord op vraag 7.
Welke rol krijgen veldpartijen precies in deze evaluatie? Antwoord 43
Zie voor de evaluatie JZOJP (nr. 07) hiervoor het antwoord op vraag 22.
In geval van de evaluatie Arbeidsmarkt en opleiden (nr. 17) kunnen zowel brancheorganisaties als betrokkenen binnen zorg- en welzijnsorganisaties bij het onderzoek worden betrokken. Hoe dit precies vorm krijgt, hangt af van het voorstel van de partij waaraan wordt gegund.
Bij welk resultaat van het programma Werken in de Zorg bent u tevreden, aangezien de ambitie is om het tekort aan personeel zoveel mogelijk te hebben teruggebracht in het jaar 2022? Waarom is hier geen concreet doel aan gesteld?
Dit maakt geen onderdeel uit van deze evaluatie. Over de voortgang van het Actieprogramma Werken in de Zorg informeer ik u tweemaal per jaar, voor het eerst weer in december van dit jaar. Hierbij zal ik net als in de eerdere voortgangsrapportages ingaan op de cijfermatige trends en ontwikkelingen uit de kerncijfers die de monitoring van het actieprogramma vormen.
Hoe wordt het resultaat van de ambitie gemeten om medewerkers in het jaar 2022 beter toegerust te laten zijn? Is hiervoor een nulmeting gedaan?
Antwoord 45
Dit is een van de kernindicatoren die onderdeel vormt van de monitoring van het Actieprogramma Werken in de Zorg. Over de voortgang van het Actieprogramma Werken in de Zorg informeer ik u tweemaal per jaar, voor het eerst weer in december van dit jaar.
Wat is de reden dat de actieplannen van de Regionale Actieplannen Aanpak Tekorten (RAAT's) niet meegenomen worden in deze evaluatie? Wie evalueert die acties dan?
Antwoord 46
De Commissie Werken in de Zorg heeft als taak de kwaliteit en voortgang van de regionale actieplannen aanpak tekorten te monitoren en stimuleren. Via de bestuurlijke voortgangsgesprekken die de commissie jaarlijks voert, wordt voor iedere regio de aanpak geëvalueerd.
Wanneer worden de resultaten van het programma Werken in de Zorg geëvalueerd, aangezien de focus van de evaluatie niet is welke resultaten reeds zijn bereikt, maar hoe de «plus» van het actieprogramma doeltreffender en doelmatiger kan worden ingezet om de maatschappelijke doelstellingen te behalen?
Antwoord 47
De inzet van de ex durante beleidsevaluatie is om gedurende de uitvoering van het Actieprogramma op een lerende wijze onderzoek te doen naar hoe de «plus» van het actieprogramma doeltreffender en doelmatiger kan worden ingezet. Over de voortgang van het Actieprogramma Werken in de Zorg aan de hand van kernindicatoren wordt de Tweede Kamer tweemaal per jaar geïnformeerd.
Wanneer kan een nieuwe update worden verwacht van de kerncijfers waarmee de voortgang van het Actieprogramma in beeld worden gebracht waarover het Ministerie van VWS tweemaal per jaar rapporteert en welke ook beschikbaar komen via het Arbeidsmarkt Zorg en Welzijn (AZW) Dashboard?
Over de voortgang van het Actieprogramma Werken in de Zorg informeer ik u tweemaal per jaar, voor het eerst weer in december van dit jaar. In deze voortgangsrapportage wordt in een bijlage uitgebreid ingegaan op de meest actuele cijfers die de kernindicatoren en overige indicatoren van de monitor vormen en die ook op het AWZ Dashboard parallel beschikbaar worden gesteld.
Wat is de reden dat de evaluatie maatschappelijke diensttijd is toegevoegd aan de pilot? Waarom was dit beleidsthema dan niet al eerder opgenomen in de programmering van de pilot waarover u de Kamer jaarlijks informeert?
Antwoord 49
Zie hiervoor de antwoorden op vraag 2 en 38.
Wat zijn de vernieuwende elementen in de evaluatie maatschappelijke diensttijd die toewijzing aan de pilot verklaren?
Antwoord 50
Een belangrijk streven van de pilot Lerend evalueren is dat de praktijk, zoals de uitvoerende instanties en de burgers, nadrukkelijk worden betrokken bij het vorm geven van beleid(swijzigingen). De ex durante evaluatie van Maatschappelijke Diensttijd (MDT) (nr. 01) wordt voor een belangrijk deel ingevuld door actieonderzoek waarbij door intakegesprekken, praktijkbezoeken en gesprekken met de jongeren en projectleiders werkzame elementen voor de ontwikkeling van MDT worden opgehaald. Om ook de beleidsmakers direct voeling te laten krijgen met de praktijk die in proeftuinen wordt ontwikkeld en deze ervaringen te verwerken in het ontwerp van MDT zullen zij in het vervolg zelf het actieleren op zich nemen. Daarin zullen zij worden ondersteund door een onderzoeker. De gekozen stapsgewijze aanpak vanuit de praktijk draagt bij aan de doelmatigheid en doeltreffendheid van de in te zetten middelen aangezien het ontwerp (steeds) beter zal aansluiten op de behoeften van zowel de jongeren als de betrokken organisaties.
Hoeveel jongeren hebben deelgenomen aan het onderzoek over de maatschappelijke diensttijd?
Antwoord 51
In totaal hebben 1.553 jongeren gereageerd op de vragenlijst die is gebruikt voor dit onderzoek.
Hoeveel organisaties die deelnemen aan de maatschappelijke diensttijd hebben deelgenomen aan het onderzoek?
Het onderzoek bestaat uit een kwantitatieve en een kwalitatieve (actieonderzoek) component. In het kwantitatieve onderzoek worden de proeftuinen en hun deelnemers gevolgd met vragenlijsten die zij invullen. De projectleiders van de proeftuinen vullen de vragenlijsten periodiek in, de jongeren bij start en afronding van hun MDT-traject. Bij de 0-meting in oktober 2018 hebben alle 41 proeftuinen gereageerd, bij de 1-meting in december 2018 hebben 38 van de 41 proeftuinen gereageerd en bij de 2-meting in maart 2019 hebben 39 van de 41 proeftuinen gereageerd.
In het actieonderzoek zijn er 15 proeftuinen in de praktijk gevolgd aan de hand van intakegesprekken, praktijkbezoeken en gesprekken met de jongeren en projectleiders. Er zijn daarnaast podiumbijeenkomsten voor alle proeftuinen georganiseerd waar kennisdelen en data valideren tussen proeftuinen centraal stond.
Kunt u aangeven of u van plan bent in de toekomst andere evaluaties van de agenda af te halen of toe te voegen?
Antwoord 53
Zie hiervoor het antwoord op vraag 1.
Is ook een eindevaluatie (ex post) van maatschappelijke diensttijd voorzien, zoals blijkt uit de figuur op de derde pagina? Zo ja, wanneer? Zo nee, waarom niet?
Antwoord 54
De ontwikkeling en uitvoering van het programma Maatschappelijke Diensttijd wordt ex durante geëvalueerd. Deze evaluatiemethode wordt toegepast tot het einde van het programma dat in de huidige vorm vooralsnog nog niet is voorzien. Voor de groep jongeren die in 2020 gaan deelnemen wordt ook een ex post effectmeting gedaan. De uitkomsten van deze meting/evaluatie zullen betrokken worden bij het (eventueel structurele) vervolg van het programma.
Kunt u de term «relatief» uit de volgende passage nader duiden: «Op basis van de internationale verkenning kan geconstateerd worden dat de Nederlandse jeugd in vergelijking met andere landen relatief goed tot zeer goed scoort op fysieke en sociale indicatoren en minder goed op mentale indicatoren»? Wat zijn de precieze cijfers?
Antwoord 55
In het ex ante onderzoek Gezond, veilig en kansrijk opgroeien (nr. 03d) zijn voor de internationale vergelijking cijfers bijeengebracht afkomstig uit verschillende internationale onderzoeken zoals de HBSC (Health Behaviour in School-Aged Children, Wereld Gezondheidsorganisatie), de gezondheidsstatistieken van de OESO (Organisatie voor Economische Samenwerking en Ontwikkeling), cijfers van de Verenigde Naties (specifiek UNICEF), de European Observatory on Health Systems and Policies (Europese Unie) en de Kids Rights Index (Erasmus University).
Hierbij is uitgegaan van een brede definitie van gezondheid en drie categorieën indicatoren: fysiek, sociaal (en sociaaleconomisch en financieel) en mentaal. Per indicator en per categorie is gekeken waar Nederland zich bevindt in de beschikbare internationale rankings.
In de categorieën fysieke en sociale gezondheid staat de Nederlandse Jeugd gemiddeld op de 7e, respectievelijk de 8e plaats van de 50 vergeleken landen. Op verschillende afzonderlijke indicatoren staat de Nederlandse jeugd in de top 5 en soms zelfs op de eerste plek.
In de categorie mentale gezondheid staat Nederland gemiddeld op de 14e plek. Een uitschieter naar beneden is de mate waarin de Nederlandse jeugd aangeeft moeite te hebben met in slaap komen. Nederland staat op de 38e plaats van de 42 landen waar dit is gemeten.
Voor de exacte cijfers op de diverse indicatoren wordt verwezen naar de Kamerbrief «Beleidsevaluaties jeugdpreventie», het onderliggende rapport «Ex ante onderzoek preventie jeugd. Hoe werken we toe naar de gezondste jeugd?» en de literatuurverwijzingen in dit rapport.15
Wat wordt er precies bedoeld met «een lerend perspectief»? Wil dit zeggen dat al gaandeweg het onderzoek wijzigingen in het programma kunnen worden aangebracht? Hoe krijgt dit lerend perspectief precies vorm in de praktijk?
Antwoord 56
Met een lerend perspectief wordt hier gedoeld op hoe de «plus» van het Actieprogramma Werken in de Zorg doeltreffender en doelmatiger kan worden ingezet. Het is geen «klassieke evaluatie» in de zin van het beoordelend terugkijken («hoe doeltreffend en doelmatig gaat het»). Juist het «beter worden» staat centraal in deze evaluatie tijdens de looptijd van het programma. De bevindingen van het onderzoeksbureau kunnen leiden tot aanscherpingen in de focus of uitvoering van bepaalde aspecten of onderdelen van het Actieprogramma Werken in de Zorg, indien deze leiden tot een doelmatigere en doeltreffendere inzet. Hoe het perspectief precies in de praktijk vorm krijgt, is afhankelijk van voorstel van het onderzoeksbureau dat uiteindelijk wordt gekozen.
Kan nader inzicht gegeven worden in de tussentijdse leerpunten bij deze pilot, waarover onder het kopje «VWS als lerende organisatie» wordt aangegeven dat met de pilot het Ministerie van VWS een leertraject is gestart (naast dat evaluatie eerder in het proces aandacht behoeft)?
Antwoord 57
Zie hiervoor het antwoord op vraag 7.
Waarom is bij de evaluatie over subsidies ervoor gekozen om de evaluatie door het Ministerie van VWS zelf uit te voeren met betrokken externe deskundigheid in plaats van de evaluatie uit te laten voeren door externe deskundigen waarbij medewerkers van het Ministerie van VWS actief betrokken worden? Als het gaat om het borgen van onafhankelijkheid, was dat geen logischere aanpak geweest? Welke invloed heeft de gekozen aanpak op de uiteindelijke onafhankelijkheid?
Antwoord 58
De evaluatie maakt deel uit van de VWS-pilot Lerend evalueren. Daarom is er bewust voor gekozen om VWS-medewerkers te betrekken bij deze evaluatie. Dit om de impact van deze evaluatie op VWS te vergroten. De onafhankelijkheid van het onderzoek is geborgd door externe input te betrekken in het onderzoek, door deelname van het Ministerie van Financiën in de werkgroep en door het laten uitvoeren van een review door de externe leden van het Audit Committee van VWS.
Kan worden toegelicht welke gevraagde én ongevraagde adviezen de Review Board (waarover wordt gesteld dat de Review Board VWS reflecteert op - en gevraagd en ongevraagd advies geeft over de onderzoeksopzetten, de lopende evaluaties en de concept-eindrapportages) tot nu toe heelt gegeven?
Antwoord 59
Enkele belangrijke adviezen vanuit de Review Board zijn:
-
-Besteed meer tijd en aandacht aan de wijze van evalueren al in de fase van de beleidsontwikkeling (in lijn met het antwoord op vraag 3).
-
-Benut de mogelijkheden die er zijn nu de Operatie Inzicht in Kwaliteit loopt zoals voor de Rijksbrede ontwikkeling van een kennis- en opleidingsprogramma.
-
-Het valt op dat het zelf experimenten en vernieuwen met beleidsevaluaties nog als lastig wordt ervaren. Op dit moment wordt hiervoor nog geregeld ondersteuning vanuit externe partijen zoals adviesbureaus gevraagd.
-
-Zorg ervoor dat in meer beleidsprogramma's van VWS (op basis van het regeerakkoord) ex ante en ex durante evaluaties worden opgenomen. Het programma Maatschappelijke Dienstdienst is hiervan een goed voorbeeld zoals het wel kan.
Ik neem deze adviezen ter harte en zal u over de opvolging berichten in mijn periodieke voortgangsbrief over de piot Lerend evalueren.
Wat zijn de ervaringen en leerpunten tot nu toe met betrekking tot de domein overstijgende onderzoeken?
Antwoord 60
Voor de pilot Lerend evalueren is gekozen om een staalkaart van VWS-beleidsinterventies op het terrein van preventie en gezondheid te onderzoeken in de periode 2018-2022. De resultaten die volgen uit de evaluatie «Aanpak overgewicht jeugd» (nr. 03b) en het verkennende onderzoek naar «Gezond, veilig en kansrijk opgroeien» (nr. 03d), liggen qua thematiek, bevindingen en adviezen in het verlengde van elkaar en daarom zijn deze onderzoeken in één brief aan uw kamer aangeboden. Uit beide evaluaties komt naar voren dat er preventiewinst en meer maatschappelijke impact is te behalen door het beleid met een samenhangende inzet over de domeinen heen en door het combineren van verschillende interventies. Zo kan een effect bereikt worden dat groter is dan de som der samenstellende delen wat de doeltreffendheid van het beleid in de praktijk ten goede komt. Een tweede aandachtspunt dat uit beide evaluaties komt, is het belang van goed samenspel tussen Rijk en gemeenten.
Uit de Evaluatie subsidies (nr. 19) volgen een zevental aanbevelingen gericht op financieringsvraagstukken voor het bekostigen (directe en indirecte) zorg en de uitvoering van het subsidiebeheer. Voor het onderzoeken van het financieringsvraagstuk is door VWS een apart traject opgestart waarvan de eindresultaten in de eerste helft van 2020 worden verwacht. De uitwerking van de overige zes aanbevelingen loopt inmiddels deels mee in het project Verbetering subsidiebeheer. Bij deze uitwerking wordt ook aandacht besteed aan de samenhang tussen subsidiebeheer en -beleid.
De leerlessen uit andere domein-overstijgende evaluaties zoals voor de evaluaties De juiste zorg op de juist plek (nr. 07), Cliëntondersteuning (nr. 13) en Eenzaamheid (nr. 18) worden aan u voorgelegd zodra de (tussen)resultaten bekend zijn.
Kunt u aangeven wat de zestien indicatoren op het gebied van betaalbaarheid en toegankelijkheid zijn om de doeltreffendheid van de geneesmiddelenvisie in de «expost» evaluatie van 2022 te meten?
Antwoord 61
De zestien indicatoren zijn de indicatoren zoals door de onderzoekers vermeld in hoofdstuk vier van het rapport «Op naar hoger hangend fruit. Ex durante evaluatie geneesmiddelenvisie 2016-2018» (nr. 09).16 Zoals ook staat aangegeven in het rapport, betreft dit vooralsnog een opzet en wordt geadviseerd om dit - samen met andere overheidsinstanties en veldpartijen - verder te ontwikkelen.
Kunt u de volgende passage nader toelichten: «We constateren dat in de eerste drie jaar na publiceren van de visie, het laaghangend fruit geplukt is. Het is halverwege de beleidsperiode tijd voor het hoger hangend fruit en aanvullende indicatoren om de effecten van de visie in 2022 te kunnen meten»? Wat wordt onder andere bedoeld met laag- en hoger hangend fruit? Welke indicatoren zijn er? Kunt u de effecten nader toelichten?
Antwoord 62
De passage betreft de samenvattende conclusie uit de Ex durante evaluatie geneesmiddelenvisie 2016-2018. Een deel van de maatregelen is uitgevoerd (het laaghangende fruit). Een ander deel van de maatregelen is nog in uitvoering (het hogerhangend fruit).
Laaghangend en hooghangend fruit zijn metaforisch gebruikt. Laaghangend fruit symboliseert de afzonderlijke acties die op relatief korte termijn genomen konden worden voor meer eenvoudige problemen. Zo geven de onderzoekers aan dat veldpartijen in Nederland meer bereid zijn tot samenwerken om de uitgaven aan dure geneesmiddelen te beheersen, dat prijzen in bepaalde mate zijn teruggedrongen, dat gepast gebruik van geneesmiddelen op de agenda staat van vele partijen en dat alle innovatieve geneesmiddelen zijn opgenomen in het pakket.
Hooghangend fruit betreft meer onderlinge samenhangende maatregelen waarmee de complexere problematiek moet worden aangepakt. Zo blijkt het stimuleren van duurzame oplossingen voor hoge prijzen vooralsnog weerbarstig, wordt de implementatie van gepast gebruik nog niet systematisch vormgegeven en vraagt de tijdigheid van de toegankelijkheid en de toegankelijkheid voor de individuele patiënt op individueel ziekenhuisniveau volgens het adviesbureau nog meer aandacht.
De indicatoren zijn door de onderzoekers vermeld in hoofdstuk vier van het rapport «Op naar hoger hangend fruit. Ex durante evaluatie geneesmiddelenvisie 2016-2018». Twaalf indicatoren over prijs en gepast gebruik moeten verder worden onderzocht op de mogelijkheid om het effect op de betaalbaarheid te meten; aan de hand van de vier andere voorgestelde indicatoren kan mogelijk het effect op (tijdige) toegankelijkheid overal in Nederland worden gemeten.
Wat is de reden dat in de eerste helft van de beleidsperiode alleen «laaghangend fruit» is geplukt?
Antwoord 63
De onderzoekers constateren niet dat alleen «laaghangend fruit» is geplukt. Het spreekt echter bijna vanzelf dat afzonderlijke acties die op relatief korte termijn genomen konden worden voor meer eenvoudige problemen eerder tot resultaten leiden dan het organiseren van onderlinge samenhangende maatregelen waarmee de complexere problematiek moet worden aangepakt.
Kunt u toelichten hoe de geneesmiddelenvisie gemonitord wordt in de jaren 2020 en 2021, gezien de ex durante evaluatie in 2019 is verschenen en de ex post evaluatie in het jaar 2022 verschijnt?
Antwoord 64
De zestien indicatoren uit het rapport «Op naar hoger hangend fruit. Ex durante evaluatie geneesmiddelenvisie 2016-2018», worden samen met o.a. NZa bekeken of ze voor het jaar 2020 (of 2021) ontwikkeld en/of gebruikt kunnen worden. De bij de indicatoren behorende meetgegevens moeten de basis vormen voor de inhoud van de ex post evaluatie.
Op welke wijze wordt de andere mening meegenomen in het vervolg, constaterende dat als het gaat om het betrekken van de praktijk nadrukkelijk aangegeven wordt dat er ook aandacht moet zijn voor degene die een andere mening is toegedaan? Hoe krijgt dit proces precies vorm?
Antwoord 65
De aanpak van elke evaluatie is voor een deel maatwerk. Doel is om door beleidsverantwoording én leren van ervaringen het beleid en de beleidsuitvoering te verbeteren. Daarom wordt bij de opzet van de onderzoeken nadrukkelijk gekeken of een breed scala aan stakeholders zoals professionals, doelgroepen, praktijk- en ervaringsdeskundigen en dwarskijkers gedurende het onderzoek kunnen worden betrokken. Voorbeelden van evaluaties met grote variatie aan deelnemende partijen om uit eindelijk tot nieuwe handelingsperspectieven te komen zijn de evaluaties: De juiste zorg op de juiste plek (nr. 07), Geneesmiddelenvisie (nr. 09) en Zvw-pgb 2017 (nr.10). Deze evaluaties worden afgestemd op de beleidspraktijk met nadrukkelijke aandacht voor de onafhankelijkheid van het onderzoek zodat deze goed is geborgd.
Om welke 54 aandoeningen gaat het binnen het onderzoek voor een nulmeting, met een literatuuronderzoek waarin voor 54 aandoeningen gegevens zijn verzameld over klinische en patiënt-gerapporteerde uitkomstmaten?
Antwoord 66
De lijst met aandoeningen is opgenomen als bijlage 2 in de nulmeting die door SIRA is uitgevoerd. De nulmeting is bijgevoegd bij de voortgangsrapportage Uitkomstgerichte zorg die op 5 juli aan de Tweede Kamer is verstuurd.17
Kunt u een concretisering geven van de afstemming van de verschillende evaluaties en de rol die zij gaan spelen in beleidsvorming?
Antwoord 67
De evaluaties Aanpak overgewicht jeugd (nr. 03b) en Gezond, veilig en kansrijk opgroeien (nr. 03d) zijn gezamenlijk naar uw Kamer verzonden met daarbij één kabinetsreactie. De evaluaties De juiste zorg op de juiste plek (nr. 07) en Bestuurlijke afspraken zorg (nr. 08) hebben een overlap en volgen elkaar op in de tijd. Uit de evaluatie Experimenten persoonsvol-gende zorg (nr. 15) bleek dat onafhankelijke cliëntondersteuning belangrijk is, hiervoor heeft het kabinet een extra impuls gegeven. De onafhankelijke cliëntondersteuning wordt ook geëvalueerd (nr. 13).
Kunt u aangeven welke lessen er vooralsnog getrokken zijn uit de evaluatieonderzoeken en kunt u daarbij ook aangeven welke aanbevelingen nog niet opgevolgd zijn?
Antwoord 68
Zie hiervoor het antwoord op vraag 9.
Kunt u aangeven of in een ex durante evaluatie ook al uitkomstindicatoren in kaart gebracht kunnen worden?
Antwoord 69
Waar mogelijk zal dit worden gedaan in de verschillende ex durante evaluaties zoals opgenomen in het meerjarenprogramma. De conclusies op basis van deze uitkomstenindicatoren zullen daarbij pas in de ex post onderzoeken kunnen worden getrokken.
Kunt u aangeven hoe zaken als het gebruik van eHealth, substitutie van zorg van de tweede naar de eerste lijn en andere manieren om zorg te organiseren, worden gemonitord en gemeten? In hoeverre kan het effect van JZOJP daar worden bepaald?
Antwoord 70
Zie hiervoor het antwoord op vraag 26.
Waarom kan het doel van de meeste uitkomstinformatie (naast transparantie bieden in kwaliteit van zorgaanbieders) niet ook het fungeren als hulpmiddel bij samen beslissen een doel zijn van uitkomstinformatie? Kan deze informatie nog voor andere doeleinden gebruikt worden, constaterende dat uit de nulmeting blijkt dat voor de 54 geselecteerde aandoeningen zowel klinische- als patiënt-gerapporteerde uitkomstmaten in ruime mate beschikbaar zijn en ondanks deze beschikbaarheid van uitkomstinformatie een groot deel van deze uitkomstinformatie ontwikkeld is ten behoeve van kwaliteitsregistraties?
Antwoord 71
De ontwikkeling Uitkomstgerichte zorg (nr. 12) richt zich op het beschikbaar maken van voor patiënten relevante uitkomsten zodat die gebruikt kunnen worden in het proces van Samen Beslissen. De nulmeting laat zien dat er veel uitkomstmaten beschikbaar zijn voor verschillende doeleinden. In het programma worden uitkomstmaten vastgesteld voor 54 aandoeningen. Volgens afspraak in het hoofdlijnenakkoord medisch specialistische zorg worden deze uitkomstmaten gebruikt voor het bevorderen en ondersteunen van het lerend vermogen van zorgprofessionals (artsen, verpleegkundigen en verzorgenden) en instellingen door benchmarking; het verstrekken van keuze-informatie voor patiënten ten behoeve van de keuze voor de spreekkamer (welke) en de keuze in de spreekkamer alsmede zorginkoop die aansluit bij de behoeften van de patiënt.
Aan hoeveel respondenten is in het kader van de pilot Lerend evalueren om input gevraagd?
Antwoord 72
In totaal hebben circa 110 deskundigen een bijdrage geleverd aan de Evaluatie subsidies (nr. 19). In het rapport Evaluatie subsidies, verantwoordelijkheid nemen en delen is een overzicht van geraadpleegde deskundigen opgenomen. Naast veldpartijen en externe deskundigen zijn ook medewerkers van de Ministeries van I&W, Financiën, BZK, EZK en J&V betrokken.
Kunt u de aanbeveling weergeven, waarover in de laatste alinea van de twaalfde pagina in de eerste zin staat: «De gedane aanbevelingen in het onderzoek zijn allen door VWS overgenomen»?
Dit betreffen alle aanbevelingen uit het rapport:
-
1.Maak een analyse van de financieringsvraagstukken voor het bekostigen van (directe en indirecte) zorg;
-
2.beleg binnen VWS het overkoepelend eigenaarschap van het subsidieproces;
-
3.voorkom impliciete en expliciete toezeggingen van de inzet van het subsidie-instrument op voorhand;
-
4.verstevig het subsidieproces aan de hand van de implementatie van een «werkdocument subsidies»;
-
5.stimuleer het vier-ogen principe bij de afweging voor de inzet van het subsidie-instrument;
-
6.evalueer subsidies vaker en beter; en
-
7.beleg het beheer van het inzicht in de samenhang van subsidies aan dezelfde ontvanger bij een accounthouder.
Kunt u toelichten waarom de helderheid betreffende de gewenste uitkomst (beoogde doelstellingen, resultaten en bijbehorende indicatoren)
in sommige gevallen ontbreekt?
Antwoord 74
In de meeste gevallen is de informatie om passende sturing in te zetten aanwezig. Bij bepaalde subsidies valt op dat een pakket van meerdere activiteiten wordt gesubsidieerd, waarvan voor een stukje van dat pakket meer helderheid over verantwoordelijkheid en doelstellingen, of de mate waarop die doelstellingen aansluiten op beleidsdoelen van VWS, mogelijk is. Een scherp zicht op alle onderdelen van het pakket en de meest passende aanpak per onderdeel ontbreekt dan af en toe. Soms zijn doelstellingen niet gemakkelijk te kwantificeren, bijvoorbeeld als subsidie wordt verleend om bepaalde activiteiten te coördineren. Inherent aan het subsidie-instrument is het beroep dat wordt gedaan op de expertise van de aanvragers. VWS schrijft niet altijd voor op welke wijze doelen moeten worden nagestreefd, maar laat die invulling aan de professionals in het veld.
Wanneer is het doel van het voorkomen van (duurdere) zorg bereikt? Antwoord 75
Deze vraag suggereert dat er een eindpunt is in de beweging naar JZOJP (nr. 07). Echter, het is een continue beweging waarbij het functioneren van mensen voorop staat, dat is het uitgangspunt waar naar wordt gekeken.
Wanneer is het doel van het verplaatsen van zorg (zoveel mogelijk dichterbij huis en indien nodig geconcentreerd wat verder weg) bereikt?
Antwoord 76
Zie hiervoor het antwoord op vraag 75.
Wanneer is het doel van het vervangen van zorg (door andere zorg zoals eHealth) bereikt?
Antwoord 77
Zie hiervoor het antwoord op vraag 75.
Kunt u de uitspraak «Het is primair een beweging van het veld» concretiseren?
Antwoord 78
De Juiste Zorg op de Juiste Plek (JZOJP) is een beweging van en voor het veld. Deze beweging is ook niet nieuw, maar sluit aan op een beweging die in het veld al gaande was. Het verder brengen van de transformatie zal daar moeten plaatsvinden en daarmee zijn partijen in het veld dus aan zet. VWS faciliteert en ondersteunt partijen hierin.
Wanneer is het actieprogramma «De juiste zorg op de juiste plek» volgens de evaluatie een succes?
Antwoord 79
In de evaluatie wordt gekeken naar bijvoorbeeld de doeltreffendheid van het actieprogramma. De evaluatie is bedoeld om partijen, of dit nu lokaal, regionaal of landelijk (dus o.a. het actieprogramma) is, gedurende het proces te stimuleren, te ondersteunen en te inspireren om de beweging naar de JZOJP verder te brengen door inzicht te geven in de ontwikkelingen en ervaringen. Het gaat daarbij expliciet om inzicht in de ontwikkelingen en ervaringen in het voorkomen, verplaatsen en vervangen van zorg en te kijken wat dit betekent voor het functioneren van mensen. Met dit inzicht kan zo nodig door partijen tussentijds bijgestuurd worden.
Wat is de stand van zaken omtrent de taakopdracht «De juiste zorg op de juiste plek»? Waarom is er niet voor gekozen om de ex durante evaluatie te starten op het moment dat gestart werd met het programma «De juiste zorg op de juiste plek»? Kan hierop gereflecteerd worden in het kader van de bevinding binnen «VWS als lerende organisatie» dat evaluatie eerder in het proces aandacht behoeft?
Antwoord 80
Zoals ook bij de beantwoording van vraag 3 aangegeven is in het meerjarenprogramma van VWS zichtbaar dat eerder in het beleidsproces aandacht wordt besteed aan beleidsevaluaties (zoals ex ante en ex durante onderzoeken). Hierin zijn inderdaad nog vervolgstappen te zetten door ervoor te zorgen, indien dat mogelijk is, dat het verwachte inzicht in de doeltreffendheid en doelmatigheid van beleidsvoornemens (bijvoorbeeld in brieven aan de Kamer) in beeld wordt gebracht conform artikel CW 3.1. In de aangescherpte beleidscyclus van VWS voor 2020 en verder wordt hier dan ook extra aandacht voor gevraagd.
Kunt u aangeven welke kwantitatieve data gebruikt wordt waarover onder het kopje «methodiek» wordt gesproken?
Antwoord 81
Het ontwerp van de evaluatie wordt door het RIVM in april 2020 opgeleverd. Waar mogelijk wordt dan hierover meer duidelijk.
Kunt u aangeven om hoeveel gesprekken het gaat onder het kopje «methodiek», waar wordt gesproken over Kwalitatieve data?
Antwoord 82
Zie hiervoor het antwoord op vraag 81.
Kunt u aangeven wat de reden is om het RIVM te vragen naar een aanpak en methodiek voor de beleidsevaluatie van JZOJP?
Antwoord 83
Zie hiervoor het antwoord op vraag 15.
In hoeverre kan het RIVM, die zelf mede verantwoordelijk is voor JZOJP, door het aanleveren van datasets voor de regiobeelden, ook de rol van onafhankelijke evaluator van deze beweging invullen?
Antwoord 84
Het RIVM ontsluit via regiobeeld.nl gegevens op gemeentelijk niveau die benut kunnen worden door de regio's in hun beweging naar JZOJP De beweging naar JZOJP gaat echter veel verder dan dit specifieke onder-steuningsdeel (is ook belegd bij ander onderdeel binnen het RIVM), waardoor ik geen risico zie in het RIVM als onafhankelijke uitvoerder van deze evaluatie. Hun betrokkenheid vind ik daarnaast een pré omdat ze goed weten waar de beweging over gaat. Daarnaast is er een begeleidingscommissie met een onafhankelijk voorzitter voor het borgen van de kwaliteit en voortgang van de evaluatie die ook oog houdt voor de rol van het RIVM.
Hoe verhoudt de evaluatie zich tot al bekende cijfers over werktevredenheid in de zorg, waaruit blijkt dat 69% van de medewerkers in de jeugdzorg (zeer) tevreden is?
Antwoord 85
Tevredenheid met het werk is een van de kernindicatoren van de monitoring van het Actieprogramma Werken in de Zorg (nr. 17). In de voortgangsrapportage worden de meest actuele cijfers voor zorg en welzijn totaal en naar branche weergegeven. De ex durante beleidsevaluatie heeft niet tot doel om de tevredenheid met het werk in beeld te brengen. De inzet van de ex durante beleidsevaluatie is om gedurende de uitvoering van het Actieprogramma op een lerende wijze onderzoek te doen naar hoe de «plus» van het actieprogramma doeltreffender en doelmatiger kan worden ingezet.
Wat is de stand van zaken omtrent de taakopdracht «Ex durante evaluatie Actieprogramma Werken in de Zorg»? Waarom is er niet voor gekozen om de ex durante evaluatie te starten op het moment dat gestart werd met het (actie)programma «Werken in de zorg? Kan hierop gereflecteerd worden in het kader van de bevinding binnen «VWS als lerende organisatie» dat evaluatie eerder in het proces aandacht behoeft?
Antwoord 86
De gunning van de taakopdracht is via de Haagse Inkoop Samenwerking (HIS) in de markt gezet, gunning vindt naar verwachting in december van dit jaar plaats. Zie verder hiervoor het antwoord op vraag 80.
Tweede Kamer, vergaderjaar 2019-2020, 31 865, nr. 161 27
Kamerstuk 31 865, nr. 157, Beleidsevaluaties jeugdpreventie.
Kamerstuk 29 477, nr. 601, Beleidsreactie «ex durante evaluatie geneesmiddelenvisie».
Kamerstuk 25 657, nr. 299, Evaluatie Zvw-pgb 2017.
Kamerstuk 35 034, nr. 5, Resultaten van het begeleidend onderzoek naar de werkzame elementen van de maatschappelijke diensttijd.
Actieleren is een continu proces van leren door ervaren, reflecteren, verdiepen, doelgericht experimenteren met als doel samen oplossingen en verbeteringen te ontdekken.
Kamerstuk 34 104, nr. 255, Eindevaluatie experiment persoonsvolgende zorg.
Kamerstuk 34 000, nr. 36, motie van het lid Harbers c.s.
Kamerstuk 34 104, nr. 234, Tussenevaluatie persoonsvolgende zorg.
Kamerstuk 31 865, nr. 147, Kabinetsreactie op de Evaluatie subsidies van het Ministerie van VWS.
Kamerstuk 31 865, nr. 156, Voortgangsrapportage Operatie Inzicht in Kwaliteit.
O.a. voormalig Bestuursvoorzitter zorgverzekeraar CZ.
Bijlage bij Kamerstuk 31 865, nr. 153, Deel - Taakopdrachten pilot Lerend evalueren startend in 2019-2020.
Kamerstuk 35 300 XVI, nr. 2, Vaststelling van de begrotingsstaten van het Ministerie van Volksgezondheid, Welzijn en Sport (XVI) voor het jaar 2020, B.2. Beleidsagenda - Pilot Lerend evalueren.
Kamerstuk 31 765, nr. 412, Resultaten vooronderzoek Langer Thuis in het kader van de pilot Lerend evalueren.
Kamerstuk 31 865, nr. 157, Beleidsevaluaties jeugdpreventie.
Kamerstuk 29 477, nr. 601, Bijlagen: Op naar hoger hangend fruit - Ex durante evaluatie geneesmiddelenvisie 2016-2018.
Kamerstuk 31 476, nr. 28, bijlage: Nulmeting beleidsevaluatie Programma Uitkomstgerichte Zorg 2018-2022.