Validering
Voor de SSM is begin 2014 een valideringsonderzoek opgezet. Bij de voorbereidingen van het valideringsonderzoek is een grote discrepantie ontstaan tussen het ideale en praktisch haalbare onderzoek. Want om te bepalen of de vragenlijst daadwerkelijk meet wat de SSM pretendeert te willen meten - inzicht geven in het competentieniveau van de Nederlandse B2B verkoper - zou idealiter elke schaal van de vragenlijst vergeleken moeten worden met een overeenkomstige schaal van een andere (vergelijkbare) vragenlijst. Echter, in het Nederlandse taalgebied bestaat er geen vergelijkbare gevalideerde vragenlijst en om de schalen van de SSM te vergelijken met overeenkomstige schalen van meerdere vragenlijsten - die bijvoorbeeld generieke competenties meten - bleek ook op bezwaren te stuiten want er zouden zeker drie á vier vragenlijsten afgenomen moeten worden en voor dusdanig tijdrovende afnames bleken er geen bedrijven beschikbaar te zijn.
Na veel wikken en wegen is toen besloten het volgende valideringsonderzoek op te zetten: door middel van (diepgaande) interviews werden de items 01 tot en met 28 van de vragenlijst getoetst (met de hoofdtaken c.q. aandachtsgebieden interne organisatie, planning & organisatie en business development) en vergeleken met de antwoorden die proefrespondenten op de items in de vragenlijst gaven. En door middel van coaching-on-the-job en simulatie (rollenspel) werd het gedrag van de proefrespondenten geobserveerd en vergeleken met de antwoorden die zij op de items 29 tot en met 50 (met de hoofdtaak c.q. het aandachtsgebied Commerciële gespreksvoering) gaven. Dit valideringsonderzoek was natuurlijk veel tijdrovender dan het afnemen van drie á vier vragenlijsten - echter werd dit onderzoek door bedrijven ervaren als een reguliere activiteit van een trainingsbureau, wat natuurlijk een prettige bijkomstigheid was (..).
Doelstelling van het valideringsonderzoek voor wat betreft het aantal proefrespondenten, was 85 deelnemers (foutenmarge 10%, betrouwbaarheidsniveau 95%). Dit zijn er uiteindelijk maar 37 geworden waar de volledige vragenlijst is vergeleken met de interviews (items 01 t/m 28) en coaching-on-the-job/simulatie (items 29 t/m 50). Bij 17 proefrespondenten konden een groot aantal items van de schaal Commerciële gespreksvoering (items 29 tot en met 50) niet getoetst worden (goed/fout gedrag niet zichtbaar) en zijn dan ook niet meegenomen in het valideringsonderzoek.
Hoofdtaken Correlatie Aantal respondenten (N)
Interne organisatie 0.76 54
Planning & organisatie 0.78 54
Business development 0.63 54
Commerciële gespreksvoering Niet significant 37
De scores op de schalen Interne organisatie, Planning & organisatie en Business development - waar 54 proefrespondenten aan hebben deelgenomen - zijn betrouwbaar. De schaal Commerciële gespreksvoering bleek niet betrouwbaar te zijn: (1) Proefrespondenten gaven een veel positiever beeld over zichzelf dan in de coaching-on-the-job en simulatie bleek. Deze discrepantie wordt ook in ander onderzoek gesignaleerd en door de eigen ervaringen van de trainer/coaches van Sellingnet. (2) Verder is het aantal proefrespondenten te klein voor een voldoende betrouwbaarheidsniveau. Splitsen we de schaal Commerciële gespreksvoering op in competenties dan zien we het volgende beeld ontstaan (afwijking zelfbeeld versus beoordeling coaching-on-the-job/simulatie):
Sociale gerichtheid +19,6%,
Communicatieve vaardigheid +34,1%,
Overtuigingskracht +18,1%,
Resultaatgerichtheid +25,7%,
Externe oriëntatie +23,9%
(toelichting: het zelfbeeld voor de items 29 tot en met 50 is voor de competentie Sociale gerichtheid +19,6% hoger dan op basis van de coaching-on-the-job/simulatie werd waargenomen). In de tweede helft van 2014 vond een vergelijkende studie plaats - zie onderzoeksbronnen - waardoor de schaal Commerciële gespreksvoering nu redelijk betrouwbaar is. In het SSM-rapport wordt deze vergelijkende studie uitgebreid beschreven.
Volgens opgave van het CBS zijn er 118.00 personen met de beroepsclassificatie 'Middelbare verkoopberoepen'. De beroepsclassificatie 'Hogere commerciële beroepen' is voor het onderzoek niet relevant omdat deze categorie voornamelijk bestaat uit commercieel leidinggevende functies en marketing- en inkoop gerelateerde functies. Ook de beroepsclassificatie 'Lagere verkoopberoepen' is niet relevant omdat deze groep vooral winkelverkoop betreft. Vanaf verslagjaar 2012 is het CBS overgegaan op de internationale beroepsclassificatie, de ISCO 2008. Het getal van 118.000 kan 'een slag in de lucht' van het CBS zijn, gezien de gedateerdheid van de beroepsclassificatielijst (noot: in de nieuwe ISCO-lijst geeft de code 032 'Vertegenwoordigers en inkopers' een getal van 73.000). Voor de steekproefgrootte heeft de betrouwbaarheid van de populatie-grootte nauwelijks consequenties; vanaf een populatie-grootte van 20.000 wijzigt deze niet veel. Uitgaande van een populatie van 118.000 personen met een foutenmarge van 5% en een betrouwbaarheidsniveau van 99%, is de vereiste steekproefgrootte 660 respondenten.
In het eerste onderzoek in 2014, werden er 615 vragenlijsten ingevuld. 73 vragenlijsten werden sociaal wenselijk (SW) ingevuld en 56 vragenlijsten werden onvolledig of meerdere keren ingevuld. Het netto aantal vragenlijsten is hierdoor een stuk lager, namelijk 486 (79%). Dit geeft een betrouwbaarheidsniveau van 97% (foutenmarge 5%) wat nog alleszins acceptabel is om een betrouwbaar beeld van de kwaliteiten van de Nederlandse B2B verkoper te kunnen geven. De eerste versie van de online vragenlijst bevatte een aantal extra items (branche, grootte verkoopteam, soort product, aantal jaren in de verkoop) die in de tweede versie achterwege zijn gelaten. Om privacyredenen of andere redenen (?), vulden een groot aantal respondenten (19%) deze extra items maar gedeeltelijk of helemaal niet in. De extra items zouden een reden kunnen vormen (?) voor potentiële respondenten om de vragenlijst dan maar niet in te vullen. Om het zekere voor het onzekere te nemen, is toen besloten in de tweede versie deze extra items weg te laten.
Klanten van Sellingnet kunnen het SSM-rapport ontvangen met alle resultaten en de vergelijkende studie betreffende de schaal Commerciële gespreksvoering. Om concurrentiële redenen leek het ons niet wijs om dit rapport op deze website te zetten. In 2017 werd de betrouwbaarheid van de gepresenteerde resultaten in een kwalitatief onderzoek (nogmaals) bevestigd. In 2020 zou er weer een kwantitatief onderzoek plaats vinden door middel van (online) vragenlijsten, echter door de coronacrisis is dit uitgesteld.