Dossier

Validatiecriteria Huurdersonderzoek door onderzoeksbureaus

Voor de prestatievelden Huurdersoordeel en Onderhoud & Verbetering van de Aedes-benchmark wordt het oordeel van huurders opgehaald over de kwaliteit van dienstverlening van corporaties en over de kwaliteit van de woning. Corporaties voert deze onderzoeken zelf uit of geven een opdracht aan een onderzoeksbureau. Lees meer over de validatiecriteria voor onderzoeken uitgevoerd door onderzoeksbureaus.

Alle onderzoeken moeten voldoen aan een set van criteria waarmee de onderzoeken en de resultaten ervan gevalideerd kunnen worden voor gebruik in de Aedes-benchmark. De richtlijnen van de MOA/ESOMAR liggen ten grondslag aan deze validatiecriteria. De validatie van de onderzoeken wordt op verzoek van Aedes uitgevoerd door KWH onder toezicht van de onafhankelijke Commissie Kwaliteitsverklaringen (CKV). 

Validatiecriteria:

Deskundigheid
1.    Het onderzoeksbureau is lid van de Markt Onderzoeks Associatie (MOA), ESOMAR of kan kwaliteitsborging voor marktonderzoek garanderen (ISO 20525). 

Onafhankelijkheid
2.    Er is geen concernrelatie, noch direct, noch via holdingstructuren of dochterondernemingen, tussen het onderzoeksbureau en de corporatie.
3.    Het onderzoeksbureau voert in opdracht van de corporatie geen andere onderzoeken of (advies-) werkzaamheden uit die de onafhankelijkheid van het onderzoek dat ingebracht wordt voor de Aedes-benchmark kunnen aantasten. 
4.    De medewerkers van de corporatie of partijen betrokken bij de dienstverlening hebben geen rol in het verzamelen van onderzoeksgegevens (voeren bijvoorbeeld zelf telefonisch onderzoek uit, uitvoerder met antwoordkaarten of tablet, etc.).

Uitvoering van het huurdersonderzoek
5.    Het onderzoek moet uitgevoerd worden op basis van een representatieve steekproef op jaarniveau, uitgaande van 90 procent betrouwbaarheidsinterval en een foutenmarge van ± vijf procent. De benodigde netto respons (aantal respondenten) is te berekenen via een tool in Excel.  Het uitgevoerde huurdersonderzoek heeft derhalve betrekking op en is representatief voor de corporatie als geheel. Het onderzoek is dus niet gebaseerd op slechts één of een aantal vestigingen of een beperkt deel van de populatie. Corporaties met 2.500 wooneenheden of minder die het huurdersonderzoek voor het prestatieveld Onderhoud & Verbetering (de aselecte steekproef) uitvoeren, mogen afwijken van de foutenmarge van vijf procent. Voor deze corporaties heeft het jaarlijks deelnemen aan dit onderzoek een behoorlijke impact en het zal op termijn leiden tot overbevraging van de huurders. Daarom is besloten dat deze corporaties (enkel voor het onderzoek onder de aselecte steekproef) een foutenmarge van maximaal zeven procent mogen hanteren.

Voor het berekenen van de netto steekproef worden de volgende definities gehanteerd:

  • Populatie:

Het aantal huurders dat gedurende een onderzoeksperiode een bepaald proces heeft doorlopen of in geval van de aselecte steekproef de gehele huurderspopulatie. Als een corporatie besluit huurders niet meerdere keren per periode uit te nodigen voor een onderzoek mogen deze bij het opgeven van de populatie in mindering worden gebracht. Hetzelfde geldt voor huurders die niet bevraagd kunnen worden (bijvoorbeeld ontruimingen, overlijden, etc.).

  • Bruto steekproef:

Het aantal huurders dat is uitgenodigd om deel te nemen aan het onderzoek. Bij kleine populaties zal de bruto steekproef veelal gelijk zijn aan de populatie. Als de corporatie ervoor kiest om niet de hele populatie uit te nodigen voor een onderzoek dan geldt dat de bruto steekproef aselect is getrokken uit het populatiebestand. Dit gebeurt bij voorkeur door het onderzoeksbureaus en anders door een medewerker van de corporatie die niet direct betrokken is bij de dienstverlening aan huurders. 

  • Netto steekproef:

Het aantal huurders dat uiteindelijk deelneemt aan het onderzoek. Deze wordt bepaald op basis van het uiteindelijk aangeleverde databestand. Hierbij wordt gekeken naar de respons op de deelscores. De antwoordopties ‘weet niet’ en/of ‘geen mening’ tellen niet mee bij de benodigde netto respons. 

Bij kleine populaties moeten er relatief veel huurders worden bevraagd om aan de bovenstaande voorwaarden te voldoen. Vanwege de praktische haalbaarheid is voor populaties kleiner dan 700 een netto respons (aantal respondenten) van minimaal 25 procent van de totale populatie voldoende. De ervaring leert dat het voor het proces ‘Vertrokken huurders’ lastig is om het responspercentage van 25 procent te behalen. Voor dit proces (en derhalve niet voor de overige processen) geldt in het geval van het niet behalen van het responspercentage van 25 procent met de gekozen veldwerkmethoden dat een responspercentage van 20 procent volstaat. Hierbij geldt de voorwaarde dat de corporatie kan aantonen dat de hele populatie bij het onderzoek is betrokken (populatie is gelijk aan bruto steekproef). Wanneer ook dat niet haalbaar is, is het nodig een tweede (of derde) veldwerkmethode in te zetten. 

Wanneer de corporatie continu onderzoek laat uitvoeren, moeten alle bestanden aan het onderzoeksbureau aangeleverd worden. Is er geen sprake van continu onderzoek, dan geeft de corporatie vooraf (bij validatie 1) aan over welke periode onderzoek wordt uitgevoerd en levert alle betreffende bestanden bij het onderzoeksbureau aan. Het onderzoeksbureau trekt vervolgens de steekproef. 

6.    De relevante populatie wordt door het onderzoeksbureau per proces bepaald en is gebaseerd op de door de corporatie in september 2018 tot en met juli 2019 verleende diensten aan:

  • huurders die een woning hebben betrokken
  • huurders bij wie een reparatie is uitgevoerd
  • huurders bij wie planmatig onderhoud/renovatie is uitgevoerd
  • huurders die de woning hebben verlaten

Corporaties die continu meten, leveren alle data aan die gedurende deze periode is opgehaald. Worden de onderzoeken niet continu uitgevoerd of is er een andere geldige reden waarom niet de hele periode kan worden aangeleverd (synchroon willen lopen aan rapportagemomenten, onderzoek voldeed in een bepaalde periode nog niet aan de criteria, etc.) dan geeft de corporatie bij de eerste validatieronde aan over welke periode de onderzoeken worden uitgevoerd. De corporatie levert vervolgens alle data aan van de periode die bij validatie 1 is opgegeven. Hierbij geldt een minimum van zes aaneengesloten maanden binnen de genoemde periode waarvan minimaal vijf in 2019. 

Naast deze vier onderzoeksonderdelen is er een vijfde onderzoeksonderdeel waarin onder andere voor het prestatieveld Onderhoud & Verbetering het oordeel van de huurders over de kwaliteit van de woning wordt uitgevraagd. Voor dit onderzoeksonderdeel moet een aselecte steekproef worden getrokken uit het gehele huurdersbestand. De relevante populatie is voor dit onderzoek gedefinieerd als het aantal bewoonde wooneenheden bij aanvang van het onderzoek. 

7.    Bij het prestatieveld Onderhoud & Verbetering speelt type en bouwjaar van de woning een rol bij het duiden van de resultaten. Daarom moeten de resultaten die worden aangeleverd verrijkt zijn met type en bouwjaar van de woning (conform de indeling van dVi). Deze indeling vindt u onderaan dit document.
8.    Wanneer bepaalde delen van de bovenstaande processen niet gemeten worden (bijvoorbeeld reparaties uitgevoerd door derden) moet dit door de corporatie of het onderzoeksbureau worden gemeld bij de aanvraag voor de validatie. In dat geval wordt beoordeeld of de representativiteit van het huurdersonderzoek in het geding is.
9.    De steekproef is door het onderzoeksbureau at random getrokken uit het totale huurdersbestand of het totale bestand van huurders dat een bepaalde dienstverlening (nieuwe woning, uitvoeren reparaties, planmatig onderhoud, huur opzeggen) heeft ontvangen. 
10.    De onderzoeken hebben betrekking op diensten die door de corporatie in september 2018 tot en met juli 2019 geleverd zijn.
11.    Bij het onderzoek is een onderbouwing van de periode(n) en de wijze van steekproeftrekking noodzakelijk voor beoordeling van de representativiteit.
12.    Huurders worden maximaal 3 maanden na een dienst bevraagd. Dit betekent dat bij een aaneengesloten periode van 6 maanden, huurders op twee momenten bevraagd moeten worden. Dit geldt uiteraard niet voor het onderzoeksonderdeel onder de aselecte steekproef.
13.    Bij online onderzoek maakt het onderzoeksbureau gebruik van een veilige verbinding (bijvoorbeeld SSL) tussen de huurder en de server waarbij gevoelige informatie die via het web wordt verzonden, wordt gecodeerd. 
14.    Het onderzoek mag uitgevoerd worden via (een combinatie van) telefonische, schriftelijke en digitale vragenlijsten. Kwalitatieve meetmethodes (zoals groepsdiscussies) zijn vanwege het subjectieve karakter van de verkregen respons niet toelaatbaar.
15.    Als bij de verzameling van de respons gebruik is gemaakt van incentives (respondenten-vergoedingen, verlotingen) of andere respons bevorderende maatregelen, dan wordt dit nadrukkelijk vermeld. Als deze maatregelen van invloed kunnen worden geacht op de representativiteit of validiteit van het onderzoek, kan dit een reden vormen de resultaten niet te accepteren.
16.    Het onderzoeksbureau is bereid en in staat de oorspronkelijke vragenlijsten te overleggen.
17.    Het onderzoeksbureau is bereid en in staat toegang te geven tot de oorspronkelijke steekproefbestanden en verzamelde data.

Kwaliteit vragenlijsten huurdersonderzoek
18.    Het onderzoek wordt anoniem uitgevoerd. Als dat niet het geval is, wordt de respondent daar nadrukkelijk op gewezen.
19.    Meedoen aan het onderzoek duurt niet langer dan gemiddeld 15 minuten.
20.    De vragen/antwoordmogelijkheden in de vragenlijst moeten gelijk zijn aan de vastgestelde indicatoren (zie document Indicatoren Huurdersoordeel) van de Aedes-benchmark en uitgedrukt in een rapportcijfer. Alleen de vastgestelde afwijkingen in de vraagstelling zijn toegestaan:

  • het inlezen van de corporatienaam in plaats van ‘uw corporatie’
  • het toevoegen van de aannemer als deze een wezenlijk onderdeel van de dienstverlening heeft geleverd.

Andere van de vastgestelde indicatoren afwijkende vraagstellingen worden niet gevalideerd. 
21.    De vraag over het gehele proces (deelscore) wordt in de vragenlijst als eerste aan de huurders voorgelegd om de invloed van andere vragen op de deelscore te voorkomen. Het uitgangspunt is daarbij dat een corporatie de huurder bevraagt naar aanleiding van één specifiek proces.

Rapportage huurdersonderzoek
22.    Het onderzoeksbureau is bereid en in staat onderzoekrapportages te overleggen die naast inzicht in de resultaten een gedegen verantwoording van het onderzoek bevatten op de punten: steekproeftrekking, onderzoeksmethodiek en een analyse van de respons en non-respons (verschil netto-bruto steekproef).
23.    Aanlevering van definitieve data gebeurt in Excel en via een beveiligde portal. De data worden op huurdersniveau aangeleverd. Voor het prestatieveld Onderhoud & Verbetering is een verrijking van deze data nodig met het bouwjaar en type van de woning conform de indeling van dVi.
Deze indeling is op het moment van publiceren van de validatiecriteria als volgt:
Bouwjaarklassen (stichtingsjaar)

  • Voor 1945
  • 1945 - 1959
  • 1960 - 1969
  • 1970 - 1979
  • 1980 - 1989
  • 1990 - 1999
  • 2000 - 2009
  • Vanaf 2010

Woningtypen

  • Eengezinswoning
  • Meergezinswoning zonder lift
  • Meergezinswoning met lift
  • Hoogbouw (> 4 etages)
  • Onzelfstandige woning

Lees meer over huurdersonderzoek voor de prestatievelden Huurdersoordeel en Onderhoud & verbetering.