Het rapport over het Fyra-debacle is verschenen. Het debat erover heeft plaatsgevonden en heeft tot het aftreden van de verantwoordelijk staatssecretaris geleid. Zaak gesloten? Liever niet. Er zijn veel lessen te leren, zowel vanuit de verhoren als vanuit het ‘snoeiharde’ rapport. Met name hoofdstuk 8, dat gaat over ‘certificering en toelating’ is verplichte kost voor iedereen in het ons vak, ondanks of juist extra door de wat ongerijmde maar wel keiharde conclusies. De meeste aandacht is tot nu toe uitgegaan naar de verantwoordelijk toezichthouder, de Inspectie Leefomgeving en Transport (ILT).  Hier concentreren we ons op het deel van de parlementaire enquête en vooral de verantwoordelijkheid van de certificerende instellingen.

Verwijtbaar?

Het rapport toont in de optiek van deze auteur niet onomstotelijk aan dat er in het proces van certificering verwijtbare fouten zijn gemaakt, althans niet in die mate dat aansprakelijkheid te verwachten valt. Er valt zelfs te beweren dat er keurig binnen de lijnen van het vak en de eisen van de accrediterende instelling (de ILT) is gebleven. Tegelijk worden ‘de certificeerders’ – het gaat in feite om verschillende hoedanigheden van dezelfde certificeerder – door de commissie afgemaakt en medeverantwoordelijk gemaakt voor de 11 miljard directe schade en vele jaren vertraging in het reizigersvervoer. Sterker nog: de parlementaire enquêtecommissie is ongemeen direct in haar verklaring van het falen. In de conclusie van hoofdstuk 8 staat het zo:

“De commissie beschouwt het daarbij als extra kwetsbaar dat de inspectie moet afgaan op het oordeel van een keuringsinstantie die betaald wordt door de fabrikant. Immers, wie betaalt, bepaalt.” (p. 295)

Corrupt en onbetrouwbaar, zo is de onderliggende suggestie. Dat moet anders. In haar hoofdconclusie wordt gesproken van een ‘ontluisterend beeld’ en een ‘naïef vertrouwen in de certificeerder als keuringsinstantie. Dat zal en moet veranderen.

Geen reactie

De betrokken certificeerder heeft tijdens de verhoren gesteld dat de Fyra terecht is goedgekeurd (diverse media, 3 juni), maar heeft zich daarna niet meer laten horen. Uit het veld komt tot nu toe geen reactie. De beroepsgroep, voor zover daar sprake van is, komt niet in opstand, ondanks dat er grond voor is. Het lijkt een kwestie van Ieder voor zich en hopen dat het overwaait (en de aansprakelijkheidsverzekering checken). Tactisch is dat misschien wel verstandig; ga niet wrijven in een vlek. Daarbij hebben we het ook nog eens over een heel specifieke tak van sport die met de dag een sterker Europees karakter krijgt. Dus waarom zouden we ons als Nederland druk maken?
Nou misschien omdat een reactie als deze erg lijkt op de reactie van beroepsgroepen als die van de banken, notarissen en accountants een paar jaar geleden. Dat ging niet over en raakte ook de Nederlandse situatie hard. Binnen Nederland is het alarmsignaal rond certificering al eerder afgegeven rondom incidenten als Odfjell en Moerdijk. In een notitie van vijf inspecties is de toon over certificering al ongemeen kritisch. Daarom is het ook roekeloos om een conclusie als die van de commissie terzijde te leggen.

Doordacht?

Nu eerst naar de inhoud toe. Het is moeilijk om binnen het bestek van dit artikel recht te doen aan het minutieuze en tegelijk boeiend opgeschreven feitelijk relaas van de commissie. De eerste indruk is eigenlijk dat van een zeer doordacht en door professionals uitgevoerd proces, of we het nu over de certificeerders of de toezichthouders hebben. Over de jaren heen wordt een heel gebouw aan documenten en overleggen opgetrokken rondom de komst van de door AnsaldoBreda te bouwen Fyra-trein. We hebben het allesbehalve over een geïmproviseerde aanpak. De betrokken wet- en regelgeving is gedetailleerd en is voor een belangrijk deel Europees van karakter. Het overleg tussen ILT, de certificeerder van AnsaldoBreda en andere instellingen vindt regelmatig plaats, is inhoudelijk en wordt uitgevoerd door personen die goed zijn ingevoerd. Desalniettemin neemt de commissie de lezer mee in een proces waardoor het toch kon gebeuren dat zowel certificeerder als vergunningverlener (ILT) zich goeddeels beperken tot het toetsen van een papieren systeem. De commissie besteedt uiteindelijk nog de meeste aandacht aan het perspectief van de vergunningverlener / accrediteur / toezichthouder ILT, maar hier wordt dat omgedraaid. Rond de certificering fronsen zich de wenkbrauwen vooral rond de volgende punten.

Wenkbrauwpunten

• De accreditatie en de controle op de accreditatie: er is een grote mate van afhankelijkheid van één certificeerder (en diens rechtsopvolgers), toch kan het gebeuren dat de certificeerder jaren niet wordt getoetst door de ILT.
• Door de bundeling van kennis binnen één partij lijken advies en audit door elkaar heen te lopen en komt de onafhankelijkheid – achteraf – in het geding. Ten tijde van het proces vonden zowel certificeerder als vergunningverlening dit geen probleem.
• De audits hebben zich beperkt tot het wettelijk kader. Achteraf is er discussie over de vraag wat dit moet omvatten. De ILT beperkt zich nadrukkelijk tot het toetsen aan de wet- en regelgeving, de certificeerder voelt zich wel verantwoordelijk voor een toets op productniveau.
• Er zijn een behoorlijk aantal testen met de Fyra uitgevoerd, maar niet bij alle waren vertegenwoordigers van de certificeerder aanwezig. Testen bij slechte weersomstandigheden werden om praktische redenen niet uitgevoerd.
• Er zijn wel audits tijdens het fabricageproces uitgevoerd, op verschillende plaatsen. Echter geen onverwachte audits en met bekende ‘zachte signalen’ over slordige werkplaatsen e.d. is niets gedaan.
• Door de gekozen systematiek worden niet alle nieuwe trimtoestellen getoetst en wordt slechts een steekproef gedaan: de hele keten faalt. De enquêtecommissie zegt dat de controle daarmee minder strak is dan per automobiel wordt uitgevoerd.
• De audits hebben zich in aantal beperkt, en dan vooral beperkt tot het papieren kwaliteitsmanagementsysteem. Dit is gemotiveerd door te verwijzen naar het interne kwaliteitsmanagementsysteem van AnsaldoBreda. Dit is in het verlengde van de papieren inspectie door ILT, die ook verwijst naar de eigen verantwoordelijkheid van de producent.
• De commissie slaat alarm omdat de vergunningsverleningsprocedure in de toekomst nog meer op armslengte komt te staan en de wetgeving en toetsing ervan geheel op Europees niveau wordt getild. De commissie heeft er geen vertrouwen in dat dit goed gaat.

Uit deze lijst van stuk voor stuk besprekenswaardige wenkbrauwpunten haal ik er twee uit.

Wanneer is er een probleem met de onafhankelijkheid?

Door al die jaren van het proces heen, zie je dat er eigenlijk slechts één partij (en zelfs maar één persoon) echt voor het proces van certificering verantwoordelijk is. Daarmee komt de onafhankelijkheid – achteraf – in het geding. Audit en advies komen wel erg dicht tegen elkaar, ondanks dat het gevaar van ‘conflict-of-interest’ wordt onderkent. Voor de commissie verklaart de belangrijkste vertegenwoordiger van de certificeerder dit (p. 262) als volgt:

“… Ten eerste is het aantal certificeringsopdrachten niet heel groot. Je kunt niet een volledig gespecialiseerde organisatie in de lucht houden voor de hoeveelheid werk die er is. Ten tweede willen wij de specialisten die nodig zijn, graag laten rouleren over verschillende activiteiten. Zij doen in andere projecten stukjes engineering of stukjes onderhoud. Zo krijgen zij veel meer ervaring om goed naar die treinen te kunnen kijken. Pas als zij ervaren zijn, zetten wij hen in als inspecteurs in certificeringsprojecten. De mensen die bij ons in het project hebben gewerkt als assessor of auditor zijn over het algemeen senior mensen met tien tot twintig jaar ervaring.» 

Dat lijkt een heel aannemelijk verhaal. Dat vond de betrokken ambtenaar van ILT ook: «′Wenselijk’ is misschien niet het goede woord, maar het is toegestaan. Als je het goed organiseert, is het voor mij geen probleem. (...) Daarmee bedoel ik dat een organisatie voor zichzelf goede spelregels moet hebben ingericht, zodat als je aan het ene deelneemt je niet meer aan het andere deelneemt. Daarvan weet ik dat dat bij deze partij het geval is.»

Kortom; het is de vraag of onafhankelijkheid hier wel het probleem is. Wel kan je – weer: achteraf - constateren dat er gebrek aan scherpte is geweest en dat had anders georganiseerd kunnen worden. Het formele punt is echter niet het wezenlijke punt.

Hoe te auditen?


Er valt wel echt discussie te voeren of de audit wel zo beperkt en zo op papier had mogen worden uitgevoerd als nu het geval blijkt te zijn geweest. Het is boeiend om hier de schets van de werkzaamheden zoals uitgevoerd door de (ervaren) certificeerder te leggen naast die van een net zo ervaren Nederlandse treinproducent (p. 266):
Certificeerder: «Wij hadden als notified body de opdracht van AnsaldoBreda om te keuren tegen de wettelijke eisen. (...) Zo’n audit begint meestal met een administratieve check van alle afgetekende papieren, kwaliteitsdocumenten, per trein. Vervolgens gaat een auditor steekproeven doen: ik wil op deze dingen iets dieper inzoomen; kunt u mij laten zien dat dit ook goed is gebeurd? In het vervolg wordt zo’n steekproef doorgetrokken naar de productielijn. De auditor gaat dan naar de productielijn en zegt: laat u maar even zien dat dit in dit geval goed is verwerkt. (...) Als je bijvoorbeeld een werkinstructie voor een monteur of lasser volgt – daar wordt op geaudit – ga je met die werkinstructie naar de werkvloer toe. In de meeste gevallen is die monteur of lasser daar ook bij en worden hem ook vragen gesteld.»


Dat klinkt zoals het hoort. De producent betwijfelt in een ander verhoor echter of met het voldoen aan wettelijke eisen en procedures de kwaliteit ook daadwerkelijk is geborgd. Hij uit tijdens zijn openbaar verhoor zijn verbazing over het kwaliteitsmanagement van AnsaldoBreda en stelt dat het volgen van procedures slechts één onderdeel is van kwaliteit.

De producent: «Dit was een kwaliteitsmanagementsysteem uit de zeventiger jaren van de vorige eeuw. Maar kwaliteit gaat over gedrag van mensen. Het gaat niet over het afvinken of iemand bij wijze van spreken wel of geen zwemdiploma heeft. (...) Ik wil even terug naar wat voor mij een kwaliteitsmanagementsysteem is. Voor 20% is dat het toetsen of de procedures zijn gevolgd. Voor 80% heeft het te maken met de vraag of je een organisatie ziet die zich continu aan het verbeteren is, die leert. Is er in deze organisatie informatie over de vraag wat er gisteren is gepresteerd, zodat morgen weer dingen verbeterd kunnen worden? Dat is voor mij kwaliteit, maar dat heb ik niet gezien.»

Op dit punt is elke moderne kwaliteitsmanager geneigd de producent het grootste gelijk van de wereld te geven. Er waren zachte signalen en in een later stadium zouden aanmerkelijk hardere signalen komen. Toch is de certificeerder niet wezenlijk van routine veranderd en bleef het ultieme doel het voldoen aan de (letter van de) wettelijke eisen. De auditroutine is niet wezenlijk aangepast.

Misvattingen, fouten of erger?

Het is de vraag hoe dit alles te waarderen. Tussen de regels door meen ik te lezen dat de commissie denkt dat het beperkte aantal audits en de positieve inhoud ervan, te maken heeft met de afhankelijkheidsrelatie ten opzichte van de opdrachtgever AnsaldoBreda. Concreet zie ik daar op z’n zachts gezegd geen harde bewijs voor. Tegenover die suggestie staan twee andere zaken. In de eerste plaats zie je dat vergunningverlener en certificeerder een goed afgestemde en gelijkluidende taakopvatting hadden. In de tweede plaats – en dat is toegegeven subjectief – valt er noch in de getuigenis van de vergunningverlener noch in die van de certificeerder enige terughoudendheid of maskering van de feite te lezen. Eerder het tegendeel: er klinkt trots in door over het getoonde vakmanschap en als ik de teksten lees is dat ook niet helemaal ongegrond.

Tegelijk is het voor mij een volstrekt raadsel hoe ziende blind en horende doof zowel vergunningverlener en certificeerder zijn geweest voor de gevolgen van hun formele opstelling. Daar raken we volgens mij aan een systeemfalen. Zolang we wettelijke eisen en papieren werkelijkheden laten prevaleren boven observaties uit het veld, gaat het echt mis. Er is dus wel gefaald.

Tucht?

In de vaktijdschriften van gevestigde beroepsverenigingen is de best gelezen pagina die met de uitspraken van de tuchtrechter. Kwaliteitsprofessionals kennen zoiets niet. Het ergste wat er kan gebeuren, is dat een accreditatie wordt afgenomen. Als dat al gebeurd, is dat echter vooral op bedrijfs- of instellingsniveau, in principe via de Raad voor Accreditatie. Persoonscertificering wordt nu serieus opgepakt door het NNK, maar staat nog in de startblokken. Om die reden heb ik overwogen om maar eens naar de Fyra-casus gekeken vanuit het perspectief van intern tuchtrecht. Dat is misschien niet erg volgens de ‘spirituele school’, maar het kan nodig zijn om de vrijblijvendheid er af te halen.

Dan kom ik toch niet ver. Was het maar zo makkelijk dat we hier te maken hadden met professionals die de boel willens en wetens geflest hebben. Dan was het ‘eens maar nooit meer’ geweest en waren de betrokken met een grote boog uit hun vak getrapt. Dat lijkt mij dus hier niet aan de orde. Maar helemaal laten zoals het nu is kan ook niet. De systeemfouten zijn immens. Voor de volle 11 miljard kan men niet verantwoordelijk worden gesteld, maar het lijkt aannemelijk dat bij anders ingrijpen het bedrag er wezenlijk anders uit had gezien, of dat wij als reizigers aanmerkelijk eerder in Brussel zouden zijn geweest.

Agenda

Er moet dus iets gebeuren. Anders krijgen we echt diezelfde opbouw van ongenoegen die we al in andere sectoren hebben gezien. De tucht van de markt of van de politiek is hier niet genoeg of klinkt te vals. De nieuwe ISO-norm gaat hier ook niets wezenlijks aan veranderen. Sterker nog: de lancering ervan wordt erdoor gefrustreerd. Het is tijd dat de sector elkaar weet te vinden en een agenda opstelt om het beeld van de professie te verbeteren en aan te geven wat er gaat gebeuren om voorbij de papieren werkelijkheid te komen.

Peter Noordhoek

Parlementaire enquêtecommissie Fyra-rapport. Parlementair onderzoek Fyra. Aangeboden 28 oktober 2015. Tweede Kamer der Staten-Generaal, vergaderjaar 2015-2016, 33678, nr. 11.

Peter Noordhoek. Na de Fura: op weg naar echt afhankelijk toezicht. Blog 16 november 2015, https://www.northedge.nl/blog/na_fyra_afhankelijk_toezicht/

Peter Noordhoek. Na de Fyra: een ander rollenspel. Blog 14 juni 2015. https://www.northedge.nl/blog/na-de-fyra/

Peter Noordhoek. Criteria voor certificering: over hout en steen. Blog 25 januari 2015. https://www.northedge.nl/blog/criteria-over-certificering/