Bayes en selectie dmv multiple choice

JKZ

Ik woon in Brazilië. Hier vertrouwen ze blijkbaar geen diploma´s, voor toelating tot opleidingen en als sollicitant voor een baan bij overheid of groot bedrijf moet je meedoen aan een vergelijkend examen, meestal multiple choice.

Ben voor de aardigheid met Bayes aan het rekenen en programmeren gegaan, daarmee kun je uitrekenen hoe betrouwbaar de meting van iemands kennis en vaardigheid is, valt nogal tegen.

Als volgt gedaan: de candidaten verdeeld in 101 klassen met kans op goed antwoord weten lopend van 0 naar 100 procent. A priori kans dat een candidaat tot een klasse behoort gelijk gesteld voor alle klassen. Kans op een goed antwoord voor iedere klasse vermeerderen met goedgokkans. Gegeven het aantal goede antwoorden kun je dan voor iedere klasse met Bayes de kans berekenen dat betrokkene daartoe behoort.

Nadat je dit gedaan hebt voor twee candidaten kun je ook de kansen berekenen van het verschil in klasse.

Voorbeeld van een resultaat: 60 vragen met keuze uit 4. Je moet minstens 55 antwoorden goed hebben. Als A 55 goed heeft en B 54, dan blijkt dat de kans dat pechvogel B minstens even goed is als A wel 40 procent bedraagt.

In werkelijkheid is het nog erger. De candidaten ingedeeld in klassen die met apriori kennis nul beginnen is niet realistisch, want je moet betalen om te mogen meedoen, dus waarschijnlijk moet de a priori schatting van de kennis in de laagste klasse al meer dan nul zijn.Daarmee zou het scheidend vermogen van het examen nog afnemen.

Hou me aanbevolen voor commentaar.

hanzwan

Interessant.

Opmerking:

"A priori kans dat een candidaat tot een klasse behoort gelijk gesteld voor alle klassen."

Waarom gelijk stellen? A priori zou ik bijvoorbeeld kijken naar het gemiddelde iq van de samenleving of misschien zelfs wel de mensen die meedoen en daarop gebaseerd een kansverdeling maken over de uitkomsten. Stel dat je een gemiddeld IQ en standaardafwijking kan vinden/beredeneren en dit kan vertalen naar een verdeling over het percentage goede antwoorden, dan zou dit misschien een betere a priori kansverdeling zijn.

Daaruit zal dan via simulatie waarschijnlijk blijken dat het verschil tussen mensen die binnen een a twee standaardafwijkingen van het gemiddelde scoren nog verder verwaarloosbaar is.

Ik denk namelijk dat door een homogene verdeling te gebruiken, er teveel kansmassa wordt toegekend aan extreem lage/hoge klassen.

Het is maar een idee:)

JKZ

Ik heb zelf al opgemerkt dat de kans nihil is dat mensen met kennis nul komma nul meedoen, vooruit wetend dat hun inschrijgeld, moeite en tijd weggegooid zijn,

Doel van mijn onderzoekje was te laten zien dat pech en geluk een grote rol spelen.

Met de aangenomen a priori verdeling blijkt die rol al verontrustend groot. Met een meer realistische verdeling zal blijken dat de rol van het lot nog groter is. En dit gaat bijvoorbeeld over mensen die naar een baan solliciteren.

Om te laten zien hoe erg het is koos ik a priori veronderstellingen waarvan niemand kan zeggen dat ze tot een te pessimistisch beeld leiden.

Wetenschapsforum

Laatste berichten

Nieuwsberichten

Bayes en selectie dmv multiple choice

Bayes en selectie dmv multiple choice

Re: Bayes en selectie dmv multiple choice

Re: Bayes en selectie dmv multiple choice