Terug naar overzicht Onderzoek naar toegankelijkheid

Rendement van Webrichtlijnen

In opdracht van ECP-EPN onderzocht Stichting Accessibility samen met UTwente de mogelijke kosten en baten van de invoering van de Webrichtlijnen door niet-overheidsorganisaties, zoals bedrijven, ondernemingen, non-profit en charitatieve organisaties en andere private partijen. De Webrichtlijnen zijn al verplicht voor overheidsorganisaties. Hoewel in het algemeen in de markt de indruk bestaat dat het toepassen van de Webrichtlijnen een positief effect heeft op verschillende kosten-baten indicatoren, is het op het ogenblik niet mogelijk om conclusies te trekken over financiële of economische voordelen of nadelen. Dat wordt vooral veroorzaakt doordat bedrijven vrijwel geen rendementsindicatoren meten.

Achtergrond

Rendement van WebrichtlijnenIn 2004 publiceerde de Nederlandse overheid de Webrichtlijnen, een uitgebreide set richtlijnen voor de ontwikkeling van kwalitatief hoogstaande websites die makkelijk te gebruiken en te onderhouden zijn. In 2011 is de herziene versie van de Webrichtlijnen, waaronder de Web Content Accessibility Guidelines versie 2.0 vallen, onderdeel geworden van de ‘Pas toe of leg uit’- lijst van Nederlandse open standaarden. Daarmee is voor Nederlandse overheden de toepassing van de Webrichtlijnen verplicht. 

In opdracht van ECP-EPN, Platform voor de InformatieSamenleving, heeft de Universiteit Twente een onderzoek uitgevoerd naar mogelijke kosten en baten van de invoering van de Webrichtlijnen door niet-overheidsorganisaties, zoals bedrijven, ondernemingen, non-profit en charitatieve organisaties en andere private partijen. In de klankbordgroep zaten vertegenwoordigers van ECP-EPN, Ministerie van BZK, Ministerie van EL&I, VNO-NCW en Logius.

Onderzoeksvraag

De onderzoeksvraag in dit project was: Wat is het rendement van (de invoering van) Webrichtlijnen? Om het rendement vast te stellen van de investeringen die organisaties doen bij invoering van de Webrichtlijnen, moeten we een beeld hebben van kosten en baten. Enerzijds moeten we weten hoeveel menskracht, financiële en andere middelen (de ‘kostenkant’) er geïnvesteerd is in het ontwerpen, onderhouden en aanpassen van die delen van de organisatiewebsite waarop de Webrichtlijnen betrekking hebben. Anderzijds moeten we weten wat de opbrengsten zijn van de website (de ‘batenkant’) om het rendement van de investeringen vast te kunnen stellen.

Opbrengsten kunnen gemeten worden aan de hand van financieel-economische indicatoren (bijvoorbeeld een besparing op ontwikkelkosten of een groei in verkochte producten), maar ook met andere soorten indicatoren (bijvoorbeeld positieve publiciteit, minder klachten, of een verschuiving van klantcontacten van het telefoonkanaal naar het minder dure web-kanaal).

Naast financiële indicatoren van rendement, hebben we ook sociale, technische en juridische indicatoren in het onderzoek meegenomen.

Onderzoeksopzet

Om de vraag naar kosten en baten van de invoering van de Webrichtlijnen te beantwoorden, is er een onderzoek in twee delen uitgevoerd.

Voor het eerste deel van het onderzoek hebben we een aantal business cases geselecteerd. Vier zeer verschillende organisaties werden nauwlettend gevolgd bij het opzetten of veranderen van sites die (beter) aan de Webrichtlijnen moesten (gaan) voldoen. Het betrof de softwaremultinational Microsoft (met twee sites), de Hogeschool Arnhem-Nijmegen, KWF Kankerbestrijding en de webwinkel Man and Shaving, in samenwerking met diens webshop-ontwikkelaar Directshop. Op vier tijdstippen in 2009-2011 werden de sites van de vier organisaties geanalyseerd en beoordeeld op het correct toepassen van de Webrichtlijnen (bij de start, twee keer tijdens het ontwerp/aanpassingsproces, na afloop). Bovendien ontvingen de business case-organisaties ondersteuning van twee externe teams van deskundigen, speciaal gericht op de invoeringsvragen en –problemen die ze ondervonden. Betrokkenen van de vier organisaties werden geregeld geïnterviewd over de kosten, baten en ondervonden problemen bij de invoering van de Webrichtlijnen.

Het eerste deel van het onderzoek is gerapporteerd in: Business case study Costs and benefits of implementation of Webrichtlijnen, E. Velleman and Th. van der Geest (2011).

Aan het tweede deel van het onderzoek namen twee groepen referentieorganisaties deel. Eén referentiegroep van 30 organisaties was zich bewust van mogelijke toegankelijkheidsproblemen, zoals bleek uit hun contacten met de Stichting Accessibility. Zij werden aan het begin van het project geïnterviewd over hun opvattingen over de Webrichtlijnen en de daarmee gepaard gaande kosten en baten. Hun sites werden op twee momenten gecontroleerd op het voldoen aan de Webrichtlijnen, en daarnaast nog op een aantal andere punten zoals toegankelijkheidsniveau, laadsnelheid van pagina’s en geschiktheid voor gebruik per mobiele telefoon. Na 6 maanden en na één jaar werden de 30 organisaties nogmaals geïnterviewd over hun inzicht in en overtuigingen over kosten en baten.

Een tweede referentiegroep bestond uit 50 willekeurige organisatie die aan het begin van het onderzoeksproject een vragenlijst hebben ingevuld, waarin zij hun opvattingen meldden over de Webrichtlijnen en de daarmee gepaard gaande kosten en baten.

Het tweede deel van het onderzoek is gerapporteerd in: Cost-benefit analysis of implementing web standards in private organizations, Th. van der Geest, E. Velleman and M. Houtepen (2011).

Resultaten

Bewijzen en geloven

Een kosten-baten analyse kan alleen uitgevoerd worden als organisaties zich bewust zijn van de feitelijke indicatoren, zoals de financiële investeringen in en de besparingen en opbrengsten van het werk dat zij in hun websites stoppen. Het bleek om twee redenen een probleem te zijn om data te verzamelen over investeringen en opbrengsten. Een belangrijke reden is dat investeringen in websites vooral bestaan uit personeelskosten. De meeste organisaties kunnen wel bepalen wat de personeelskosten zijn van het bouwen en ontwikkelen van een websites, zeker als zij het werk hebben uitbesteed. Maar de personeelskosten van het produceren van content en van content management zijn gewoonlijk verdeeld over veel verschillende afdelingen en mensen. De Webrichtlijnen gaan over zowel bouw/ontwikkeling als contentproductie/management. Dat maakt het in het algemeen moeilijk voor organisaties om de kosten van hun website in harde cijfers uit te drukken, in het bijzonder de kosten die met de Webrichtlijnen te maken hebben. Grotere organisaties hebben een beter overzicht van de kosten dan kleinere organisaties.

Een tweede belangrijke reden is dat veel organisaties wel een beeld hebben van wat zij met hun site willen bereiken, maar geen data verzamelen waarmee ze aannemelijk kunnen maken of kunnen bewijzen dat zij daadwerkelijk de beoogde opbrengsten realiseren. Als de website vooral bedoeld is om informatie over te dragen, is de ‘opbrengst’ sowieso moeilijk aan te tonen. Grotere organisaties en webwinkels verzamelen, vaker dan andere organisaties, informatie waarmee ze kunnen vaststellen of hun websites de beoogde doelen of opbrengsten realiseren. De andere organisaties verzamelen in de praktijk op zijn best data over bezoekersaantallen en zoekmachine-effectiviteit. Slechts een enkele onderzochte organisatie verzamelt data die specifiek gaan over de mate waarin ze voldoen aan de Webrichtlijnen, of aan gangbare criteria van gebruiksgemak  en toegankelijkheid. Dat maakt het moeilijk om te bewijzen dat positieve resultaten, zoals toenemende bezoekersaantallen, specifiek veroorzaakt worden door toepassing van de Webrichtlijnen.

Het is opmerkelijk te noemen dat de onderzochte organisaties zo weinig harde informatie verzamelen en gebruiken over de opbrengsten en effecten van hun websites die gekoppeld kan worden aan het ontwerp en de inhoud van hun website. Elk van de business case-organisaties heeft de indruk dat de kosten van hun website omlaag zijn gegaan door de (verdere) invoering van de Webrichtlijnen. Het is makkelijker geworden om content en andere web-elementen te veranderen of toe te voegen. De perceptie van (werken aan) de invoering van Webrichtlijnen is dus positief. Die organisaties die de Webrichtlijnen invoeren hebben het idee dat het hun website makkelijker te gebruiken maakt, beter toegankelijk en beter in het algemeen. Bij gebrek aan harde data over de opbrengsten en effectiviteit van hun website kunnen ze deze claim echter niet bewijzen. Het gebrek aan data over gerealiseerde voordelen maakt het moeilijk om organisaties op basis van financiële en economische argumenten te overtuigen van het belang van invoering van de Webrichtlijnen.

Hoewel in het algemeen in de markt de indruk bestaat dat het toepassen van de Webrichtlijnen een positief effect heeft op verschillende kosten-baten indicatoren, stellen we vast dat het op het ogenblik niet mogelijk is conclusies te trekken over financiële of economische voordelen, bij gebrek aan hard bewijs voor de effecten van de toepassing van de richtlijnen.

Een bredere acceptatie en een verdergaande invoering van de Webrichtlijnen kan alleen gerealiseerd worden als er veel aandacht wordt besteed aan informatie en voorlichting.

Overtuigende argumentatie

Ons onderzoek bracht een aantal onderwerpen en thema’s aan het licht die gebruikt kunnen worden om organisaties ervan te overtuigen dat zij de Webrichtlijnen moeten gaan toepassen.

Zowel in de business cases als in de referentiegroepen bestond veel belangstelling voor het effect van de toepassing van Webrichtlijnen op de vindbaarheid van de site en zoekmachineoptimalisatie (SEO). De business case-organisaties gebruiken het argument van SEO intern om steun te krijgen voor de toepassing van de Webrichtlijnen. Hard bewijs voor het effect van de Webrichtlijnen op SEO zou andere organisaties over de streep kunnen trekken.

Het snel toenemend gebruik van mobiel internet kan ook dienen als argument voor het implementeren van Webrichtlijnen. Sites die voldoen aan de richtlijnen presteren beter op de verschillende platforms, waaronder ook mobiele platforms. Organisaties kunnen overtuigd worden van de waarde van het toepassen van Webrichtlijnen als ze zien dat het hun sites meer toekomstbestendig maakt. Ons onderzoek levert hiervoor het bewijsmateriaal.

In twee business cases werd er gewerkt aan het toepassen van de Webrichtlijnen vanuit het perspectief van ‘good governance’, maatschappelijk verantwoord ondernemen. Het management van één van de business cases, Microsoft, heeft toegankelijkheid in de bedrijfsmissie opgenomen. Voor een andere business case, de Hogeschool Arnhem-Nijmegen, is toegankelijkheid een wettelijk verplichte en dus noodzakelijke voorwaarde in het kader van de onderwijscertificatie. Het argument van maatschappelijke verantwoordelijkheid kan gebruikt worden als een overtuigend argument voor vele andere organisaties.

De Webrichtlijnen kunnen ook een bruikbaar instrument worden in aanbestedingsprocedures. Organisaties kunnen simpelweg eisen dat een nieuwe site aan de Webrichtlijnen voldoet. Deze eis kan gecheckt worden door externe organisaties, waardoor de marktpartijen geprest wordt om goed werk te leveren, zelfs als de nodige expertise voor kwaliteitsbeoordeling niet binnen de organisatie voorhanden is.

De business case-organisaties zijn zich ervan bewust dat het duurder is om bestaande sites achteraf toegankelijker te maken (retro-fitting) dan om van het begin af aan te bouwen volgens de Webrichtlijnen. Pogingen om andere organisaties en bedrijven te overtuigen de Webrichtlijnen te implementeren zouden dus in de eerste plaats gericht moeten worden op de volgende release van een website of op nieuwe websites.

De inspanningen zouden zich ook kunnen richten op leveranciers van systemen voor content management. Zij zouden ervan overtuigd moeten worden dat de implementatie van Webrichtlijnen een verkoopargument kan zijn en producten op de markt moeten brengen die het heel makkelijk maken voor hun afnemers om websites te maken en onderhouden die voldoen aan de Webrichtlijnen.

Bewustzijn en deskundigheid

In de meeste organisaties is men zich er niet of nauwelijks van bewust wat de Webrichtlijnen inhouden en wat het effect van toepassing is. Dit onderzoek heeft een lijst van indicatoren opgeleverd waarmee organisaties zich beter bewust kunnen worden van de kosten en baten van het voldoen aan de Webrichtlijnen.

Zelfs die organisaties die zich bewust zijn van het belang van Webrichtlijnen of toegankelijkheids­richtlijnen geven aan dat ze niet beschikken over veel deskundigheid op dit gebied. Zij delegeren de kwestie aan hun externe webbouwers, maar hebben geen middelen of expertise om te controleren of de externe bouwers websites opleveren die voldoen aan de richtlijnen. Het is belangrijk dat de huidige en toekomstige webbouwers en – redacteuren meer en beter opgeleid en getraind worden, zodat zij hun expertise in de organisaties kunnen verspreiden.

De vier organisaties in ons business case-onderzoek geloven dat zij baat hebben bij het toepassen van de Webrichtlijnen. Slechts een paar organisaties verzamelen data die bewijzen dat implementatie van de Webrichtlijnen resulteert in betere sites, sneller ladende pagina’s, betere vindbaarheid, betere prestaties op mobiele telefoons, meer bezoekers en een betere reputatie. Deze organisaties kunnen een rol spelen als ‘ambassadeur’ voor de Webrichtlijnen in contacten met andere organisaties.

Tot slot

Onze business case-organisaties zijn er over het algemeen van overtuigd dat toepassing van de Webrichtlijnen een positief effect heeft op verschillende indicatoren van kosten en baten. We stellen echter vast dat het op het moment niet mogelijk is onomstotelijk bewijs te leveren voor de kostenvoordelen van toepassing van Webrichtlijnen op een website, bij gebrek aan harde data over de effecten van implementatie van de standaarden. Inspanningen zouden zich moeten richten op het bewust maken, het verspreiden van informatie en het creëren van expertise met betrekking tot kosten en baten van websites en met betrekking tot de effecten van de toepassing van Webrichtlijnen op kosten en baten.

In de discussie over rendement en over kosten en baten wordt veel belang gehecht aan financiële argumenten, maar er zijn ook andere soorten baten denkbaar. In dit project is in overleg met belanghebbende organisaties een lijst met verschillende soorten indicatoren van kosten en baten opgesteld, die gebruikt kan worden voor verdere beleidsontwikkeling en onderzoek op het gebied van de invoering en toepassing van Webrichtlijnen.

Downloaden

Het onderzoek is in het Engels geschreven. Download het volledige rapport Cost Benefit Study of Implementation of Dutch Webguidelines (pdf-bestand, 1.920kb).

Gerelateerd

Tags:
Categorie:
Projecten en publicaties
  • Delen op Facebook
  • Delen op Twitter
  • Delen op LinkedIn