LET OP! Dit artikel is aangepast op basis van opmerkingen van lezers.

Naar aanleiding van het artikel “Filmstimuleringsmaatregel aanwenden voor televisieseries?” ontving Afdeling Filmzaken een analyse van het rapport ‘Monitor Economische Effecten van de Stimuleringsmaatregel Filmproductie in Nederland’.

Dit rapport zal betrokken worden in de evaluatie van “De Stimuleringsmaatregel Filmproducties Nederland” en vormt voor een evaluatiecomité (wie hier zitting in hebben of nemen is ons niet bekend) de basis van aanbevelingen voor de uitvoering van de regeling. Het is dus van belang dat het een betrouwbaar rapport is, een rapport waarin op de juiste manier gekomen wordt tot inzichten en conclusies.

Dat dit niet helemaal het geval is valt te lezen in een analyse van het rapport ‘Monitor Economische Effecten van de Stimuleringsmaatregel Filmproductie in Nederland’, die gemaakt is door mensen in de filmsector. Hieronder leest u de belangrijkste bevindingen.

De analyse richt zich op enkele vitale onderdelen van het onderzoek.

Te weten:

• de onafhankelijkheid
• de representativiteit van de ondervraagden
• of duidelijk wordt gemaakt hoe gegevens geïnterpreteerd moeten worden
• de onderbouwing van conclusies.

Onafhankelijkheid

Hoe kan er sprake zijn van een “onafhankelijk” onderzoek wanneer dat gedaan wordt door iemand die zelf aan de wieg van de huidige regeling heeft gestaan?

Representativiteit van de ondervraagden

In-Soo Radstake :  had de ‘monitor’ ook gelezen. Verbaasde mij toen ook ten zeerste dat er .. zo weinig respondenten waren…

Vul hier maar eens wat getallen in: http://www.allesovermarktonderzoek.nl/…/steekproefc…/… en dan kom je al snel tot de conclusie dat het aantal respondenten veel te laag is.

Om voor 90% betrouwbaar te willen zijn hadden er minimaal 267 mensen aan moeten meedoen, voor 95% betrouwbaarheid 377 mensen en voor 99% 642 mensen.

Waarom zijn niet alle partijen die met de regeling te maken hebben gehad uitgenodigd om mee te doen aan de enquête?

Tal van filmprofessionals zijn niet aangesloten bij een belangenvereniging. Wanneer het aantal (179) respondenten vergeleken wordt met het aantal mensen (11.055) dat werkzaam is in de filmsector (zie CBS tabellen in rapport ) dan kun je niet met goed fatsoen zeggen dat dit onderzoek representatief is.

Is het duidelijk hoe gegevens geïnterpreteerd moeten worden?

Welke omzet is er bijvoorbeeld gemeten?

Op basis van de vragenlijst (die overigens niet is toegevoegd aan het rapport) blijkt dat er geen onderscheid gemaakt is in de verschillende bronnen van omzet. Veel AV-bedrijven werken niet alleen in film, animatie of documentaire, maar ook voor TV, commercials, toneel, muziek, en bijv. low budget producties. Dit zijn bronnen van inkomsten die niets te maken hebben met film en/of de stimuleringsmaatregel en die mogelijk gestegen zijn vanwege de aantrekkende economie.

Deze onduidelijkheid over wat er gemeten is zorgt er voor dat uitspraken over behaalde omzet, te verwachte omzet, verwachtingen en nationale en internationale bedrijvigheid, ook in de toekomst, nietszeggend worden. Het zou handig zijn geweest wanneer er een definitie was opgenomen in het rapport van wat er met omzet bedoeld wordt en welke bronnen van inkomsten er nu precies gemeten zijn.

onderbouwing van conclusies

Op de onderbouwing van conclusies valt helaas ook nogal wat aan te merken.

Een goed voorbeeld hiervan is de conclusie met betrekking tot het meten van tevredenheid over de regeling. De ondervraagden hadden bij het beantwoorden van vragen hierover 3 keuzemogelijkheden : Geheel eens, Gedeeltelijk eens en Oneens.

Dat het begrip Gedeeltelijk eens iets totaal anders is dan Eens is geen verrassing.

Toch blijkt het onderzoeksteam bij het formuleren van de conclusie het aantal mensen dat gedeeltelijk eens heeft ingevuld, op geteld te hebben bij het aantal mensen dat Eens invulde. Dit voelt manipulatief, want hierdoor lijkt het alsof 80% tevreden is met de werking van de regeling en dat 89% vindt dat het bijdraagt aan de hoofddoelstelling bevordering van een gezond filmproductie klimaat en dat 87% vindt dat de regeling bijdraagt aan de internationale concurrentiepositie van de Nederlandse filmindustrie.

Terwijl in werkelijkheid een substantieel deel van de ondervraagden twijfels heeft over de manier waarop de regeling wordt uitgevoerd. Wanneer je de ondervraagden optelt die Gedeeltelijk eens invulden, bij de mensen die het regelrecht Oneens waren met de stelling, dan kom dat bijna op de helft van de ondervraagden. Een serieus te nemen percentage dat aangeeft niet helemaal tevreden te zijn over de regeling en aanleiding geeft om te kijken of de regeling moet worden aangepast.

Verder viel bij de onderbouwing van de conclusie, dat de toekomstverwachting goed te noemen is, de volgende zin op:

“Door de introductie van de Stimuleringsmaatregel wordt er significant meer in de Nederlandse filmindustrie besteed, aangezien meer dan 60% van de gehonoreerde projecten (sterk) internationaal zijn opgezet en de betrokken producenten zonder de Stimuleringsmaatregel naar verwachting niet in deze mate in Nederland zouden hebben geproduceerd.”

Misschien is het muggenzifterij, maar wat heeft de sector aan een conclusie die gebaseerd is op “naar verwachting”?

En dan zijn er verder nog de conclusies met betrekking tot de voorgestelde veranderingen.

Een van de conclusies is dat een groot deel van de ondervraagden wil dat de regeling wordt opengesteld voor high-end TV series, maar hierbij wordt niet verteld dat deze optie vermeld stond bij de keuzemogelijkheden. De keuze om low budget films ook gebruik te laten maken van de regeling stond namelijk niet bij de keuzemogelijkheden en toch wordt deze mogelijkheid door een relatief hoog percentage van de ondervraagden aangegeven.

(NB Het toelaten van low budget films draagt ook nog bij aan talentontwikkeling en diversiteit, beide zijn belangrijke in de doelstelling van de regeling. Het is dus een vraag waarom deze films geen gebruik kunnen maken van de regeling)

TOT SLOT

Het is opmerkelijk dat – terwijl de Nederlandse economie op dit moment enorm aan het aantrekken is – de groeitrends ten aanzien van winstbedrijvigheid en investeringen ondertussen aan het afvlakken zijn in de filmbranche.  In het rapport worden alleen de trends ten opzichte van 2014 genoemd en niet ten opzichte van 2015, die een stuk minder positief zijn. Omdat een groot gedeelte van de groei die nu toegedicht wordt aan het effect van de Stimuleringsmaatregel, veel eerder in verband moet worden gebracht met het aanzwellen van de Nederlandse economie, is het voorbarig om de regeling in de huidige vorm effectief te noemen.

Voor een (onafhankelijk) onderzoek in opdracht van het Filmfonds lijkt het erop dat bepaalde conclusies selectief zijn geïnterpreteerd. De vraag is of dit komt omdat er druk is uitgeoefend vanuit de opdrachtgever om de resultaten zoveel mogelijk te laten aansluiten bij veranderingen die het Filmfonds zelf van plan is en naar zeggen al voor besproken heeft met OCW.

Tenslotte wordt in het rapport ook niet ingegaan op het feit dat de cijfers gedeeltelijk fictief zijn, omdat de cijfers uit 2016 voor een groot gedeelte uit beschikkingen bestaat en er geen enkel duidelijkheid is over wat er werkelijk besteed gaat worden in Nederland. Er wordt ook geen melding gemaakt van het geld dat wegvloeit naar een paar grote buitenlandse producties; producties die onze overheidssteun niet nodig hebben, terwijl Nederlandse filmproducties door het historisch lage marktaandeel deze steun nu meer dan ooit nodig hebben.

Het wordt dus tijd voor een echt onderzoek. Niet naar de wenselijkheid van de regeling zelf, want dat de Nederlandse film deze filmstimuleringsregeling meer dan nodig heeft is duidelijk, maar naar de manier waarop de regeling wordt uitgevoerd en met name naar de mogelijke aanpassing.

CONCLUSIE

Aangezien er geen sprake is van onafhankelijkheid, de representativiteit van de ondervraagden te wensen overlaat, het onduidelijk is wat er bedoeld wordt met de omzet die gemeten is en de onderbouwing ontbreekt van tal van conclusies is het onverstandig om dit rapport de basis te laten vormen van een serieuze evaluatie.

In-Soo Radstake : Conclusie:
1. aan de conclusies die verbonden worden aan dit “onderzoek” (het is dus eigenlijk op geen enkele manier een onderzoek te noemen) valt feitelijk geen enkele waarde toe te kennen.
2. De vragenlijst moet openbaar gemaakt worden om te bepalen of deze vragen voldoen aan de principes van betrouwbaarheid en validiteit
3. Indien dit niet het geval is dient er een nieuw onderzoek te komen waarbij vooraf bepaald wordt wat de populatie behelst, uit hoeveel mensen de steekproef moet bestaan, de verdeling van de respondenten in achtergrond in relatie tot de populatie/representatie.