Schaal, score en score grafiek bij BKPV-criteria
Bij elk beoordelingsmodel bepalen schaal, score en score grafiek samen met het gewicht de uitkomst van de beoordeling. De schaal bepaalt hoe een inschrijving beoordeeld wordt op een Beste Prijs-Kwaliteitverhouding-criterium (BPKV, voorheen Economisch Meest Voordelige Inschrijving (EMVI)). Er moet aan elke BPKV-criterium een score toegekend worden en een score grafiek geeft de relatie aan tussen de prestatie of prijs en de score.
Relatieve of absolute beoordeling
Bij een absolute beoordeling wordt een inschrijving niet vergeleken met andere inschrijvingen en zijn de scores die een inschrijving krijgt niet afhankelijk van anderen. Bij een relatieve beoordeling hangt de score van de prijs of de kwaliteit af van een andere inschrijving. Meestal wordt de laagste prijs of hoogste kwaliteit als referentie gekozen. In sommige landen is relatief beoordelen verboden.
Redenen om relatief beoordelen niet te gebruiken:
- Verslechtering prijs/kwaliteitverhouding
- Risico op een rangordeparadox
- Bid-rigging (inschrijvers maken onderling afspraken om de concurrentie buiten te sluiten, hetgeen leidt tot hogere kosten voor aanbestedende diensten)
Schaal
Er zijn zeer veel verschillen schalen in omloop: 0-1, 0-10, 0-100, 1-5, -2-+2, -5 - +5 enzovoort. Ook van uitstekend tot minimaal wordt gebruikt. Verder worden veel van deze schalen al in de aanbestedingsstukken bewust of onbewust sterk ingekort door bijvoorbeeld de randvoorwaarde dat tenminste een zes gescoord moet worden bij een schaal van 0-10. Dit kort de schaal in tot 6-10. Dit heeft gevolgen voor spreiding van de scores. De schaal heeft ook invloed op de spreiding, bij 0-10 is deze lager dan bij -2-+2. Verder is het van belang om vooraf vast te leggen of met hele, halve punten of met tienden van punten gewerkt wordt. Meestal wordt voor prijs de schaal van euro's gebruikt.
Score en score grafiek
Er moet aan elk BPKV criterium een score toegekend worden, voor zowel alle kwaliteitscriteria als voor de prijs. Een score grafiek geeft de relatie aan tussen kwaliteit, prestatie of prijs (op de horizontale as) en de score (op de verticale as) weer. Hierin kan direct weergegeven worden of gewerkt wordt met een maximum- en/of minimumscore. Ook het gebruik van een niet lineaire relatie tussen prestatie en score kan hierin weergegeven worden. Met een score grafiek verloopt de communicatie met de inschrijver veel gemakkelijker. Er is duidelijkheid over de wijze van scoren en de inschrijver kan inschatten wat zijn inschrijving kan opleveren in BPKV scores.
Het belang van een criterium wordt bepaald door gewicht maal score. Maar het gewicht bepaalt nog niet of dit criterium ook bij de aanbesteding de doorslag geeft. Dit hangt namelijk sterk af van de spreiding van de scores. Als alle scores vrij dicht bij elkaar liggen dan onderscheidt geen enkele inschrijver zich echt van de andere inschrijvers. Dan worden andere criteria, dan wel de prijs, belangrijker. Als de spreiding van de prijzen gering is, is de invloed van BPKV zeer groot.
a.Trap = er wordt afgerond bijvoorbeeld op hele cijfers
b. Lineair = elke stap (= hogere prestatie) levert evenveel extra punten op
c. Holle grafiek = elke stap levert steeds meer extra punten op
d. Bolle grafiek = elke stap levert steeds minder extra punten op
Lineaire of non-lineaire waarden
Vrijwel alle EMVI-criteria worden in Nederland lineair beoordeeld. Een twee keer hogere waardering krijgt een twee keer hogere score. Dit hoeft echter niet voor alle BPKV-criteria op te gaan. Twee weken eerdere oplevering kan een waarde vertegenwoordigen maar hoeft niet per se twee keer de waarde van een week eerdere oplevering te zijn.
Simulatie of gevoeligheidsanalyse
Ook zorgvuldig afgewogen waarden voor BPKV-criteria moeten getest worden in een simulatie met fictieve inschrijvingen of met de resultaten van een vorige aanbesteding. Daarbij wordt in feite direct ook de beoordelingsmethode getest en het toekennen van scores.
Met fictieve (extreme) of oude inschrijvingen is het mogelijk om de BPKV-criteria door te rekenen. Dan wordt duidelijk of de gewichten van de BPKV-criteria zo gekozen zijn dat de meest aantrekkelijke inschrijving (naar het oordeel van het beoordelingsteam) ook wint. Wanneer de uiteindelijke score van een BPKV criterium niet erg varieert is dat een signaal dat dit criterium leidt tot weinig onderscheid in de markt.