Bevezetés

Az olvasók többsége valószínűleg találkozott már különböző intézményi, szervezeti szabályzatokkal, néhányan talán részt is vettek ilyenek készítésében. Utóbbi általában nem igényel komoly szellemi kihívást, elődeink munkájában megbízva sokszor elegendőnek tűnik a feltétlenül átdolgozandó részek módosítása. Első ránézésre amúgy is jól megalapozottnak látszik a szöveg, bizonyára nem maradtak benne logikai hibák, ellentmondások.

Vegyük például a következő (24.) bekezdést a Budapesti Corvinus Egyetem (BCE) Tudományos Diákköri Konferenciájának (TDK) – éppen átdolgozás alatt levő – szabályzatából (BCE TDK, 2016):¹

„Ha a két bírálat pontszáma között 10 pontnál kisebb a különbség, az írásbeli pontszám a két bírálat pontszámainak összege. 10 pontos vagy annál nagyobb eltérés esetén harmadik bírálót kell felkérni. […] A három bírálat pontszáma közül az egymáshoz legközelebb eső kettő összege lesz a dolgozat írásbeli pontszáma. Amennyiben két ilyen pontpár van, úgy a magasabb összegű két pontszám összege lesz a dolgozat írásbeli pontszáma.”

A motiváció világos: a túl nagy különbség azt jelzi, hogy a bírálók eltérően ítélik meg a dolgozat erényeit, esetleg egyikük valamilyen okból elfogult. Nyilvánvalóan szükség van egy újabb, harmadik véleményre. Ekkor azonban néhány dolgozatnak három bírálata lesz, a többinek viszont csak kettő. Mit tegyünk? Feledkezzünk meg az egyik bírálóról. De kiről? Aki társaitól eltérő pontszámot adott – mivel nem tudunk jobbat, feltételezhetően ő követett el hibát. Akkor ezzel készen is vagyunk, jöhet a következő bekezdés.

Most pedig lássuk, hogyan működik a rendszer a gyakorlatban. Tekintsünk két dolgozatot az alábbi pontszámokkal: (25; 14) és (23; 12). A különbség mindkét esetben 11 pont, harmadik bírálót kell felkérni. A kapott pontszámok legyenek 19 és 18. Tehát az első dolgozat írásbeli pontszáma 14 + 19 = 35 (a 25 pontos bírálat kiesik, mert távol van a többitől), míg a másodiké 23 + 18 = 41 = (itt a legmesszebbi 12 pontos bírálat nem számít), azaz utóbbi a színvonalasabb munka.

Mi a probléma? „Csupán” annyi, hogy az első dolgozat mindegyik bírálata magasabb pontszámú. Ad abszurdum akár ugyanazoktól a bírálóktól.

Milyen tulajdonságokat kellene feltétlenül megkövetelni a bírálati rendszertől?

Jelentős mértékben különböző pontszámoknál számos oktatási, tudományos értékelés során felmerül az újabb bírálat iránti igény. Ezért nem haszontalan néhány alapelv, axióma megfogalmazása és indoklása, az egyszerűség kedvéért három bírálat esetére.

Legyen tehát adott minden pályázathoz, dolgozathoz három pontszám: (a; b; c). Ezekre kell alapozni az f(a; b; c) összpontszámot. És akkor következzenek az elvárt tulajdonságok.

A1 axióma: Az összpontszám független a bírálatok sorrendjétől, azaz f(a; b; c) = f(a; c; b) = f(b; a; c) = f(b; c; a) = f(c; a; b) = f(c; b; a) minden lehetséges (a; b; c) hármas mellett.

Miért fontos ez? Ha egy adott témához történetesen éppen három bíráló ért, felkérésük sorrendjében egyéb szempontok fognak előtérbe kerülni (például mennyire ismeri őket a bírálati rendszerért felelős személy, vagy akár teljesen véletlen sorrend). Nem lenne szerencsés, ha az összpontszámra bármilyen hatással lenne ez utóbbi, a tudományos értéktől teljesen független szempont.

A2* axióma: Az összpontszám monoton, azaz a’ ≥ a → f(a’; b; c) ≥ f(a; b; c) minden lehetséges (a; b; c) és (a’; b; c) hármas mellett.

A monotonitás értelmében az egyik bíráló magasabb értékelése nem eredményezheti az összpontszám csökkenését. A sorrendtől való függetlenség megkövetelése mellett elegendő ilyen formában felírni a tulajdonságot, az A1 axiómát elhagyva viszont már mindegyik bírálati pontszám növekedése esetére elő kellene írni a definícióban megkövetelt implikációt.

Az A2* axióma azonban még nem zárja ki a bíráló – az összpontszám szempontjából – teljesen hiábavaló őrlődését az utolsó pont megadása felett. Érdemes megtisztelni azzal, hogy erőfeszítéseit garantáltan elismerjük.

A2 axióma: Az összpontszám szigorúan monoton, azaz a’ > a → f(a’; b; c) > f(a; b; c) minden lehetséges (a; b; c) és (a’; b; c) hármas mellett. A szigorú monotonitás, az A1 tulajdonsággal együtt, immár biztosítja az összpontszám növekedését bármely bírálati pontszám emelkedése esetén. Az A2 axióma erősebb az A2* axiómánál.

A fenti tulajdonságok nem foglalkoznak azzal az esettel, amikor két olyan dolgozatot kell összehasonlítani, ahol az elsőnek két, míg a másodiknak három bírálati pontszáma van. Itt talán csak annyit mondhatunk, hogy ne legyen alacsonyabb az összpontszám, ha az első dolgozat minden bírálati pontszáma legalább akkora, mint a második bármelyik bírálatáé, de ez feltételezhetően minden rendszerben teljesül.

Néhány példa

A harmadik bírálat lehetőségét megengedő vagy előíró pontozási rendszerek, szabályzatok teljes körű áttekintésére értelemszerűen nem vállalkozhattunk. Ezért a következőkben néhány kiragadott esetet tárgyalunk az előző részben megfogalmazott axiómák tükrében. A kiválasztás nélkülöz bármiféle célt vagy egyéb szempontot, elsősorban illusztrációként szolgál.

Térjünk vissza a bevezetésben említett BCE TDK-szabályzatra (BCE TDK, 2016). Ez nem ad kiemelt szerepet a harmadik bírálatnak, kizárólag a pontszámok egymáshoz való viszonyát tekinti, tehát megfelel az A1 axiómának. Ugyanakkor a bemutatott példa alapján nem monoton, az A2* axióma sérül.

A 2017-ben megrendezésre kerülő Országos Tudományos Diákköri Konferencia (OTDK) egyes szekcióiban eltérő módon szabályozzák a harmadik bíráló felkérése esetén kialakuló pontszámot. Például a Közgazdaságtudományi Szekcióban (OTDK Közgaz, 2016):²

„Amennyiben a két bíráló értékelése között 15 pont vagy annál nagyobb az eltérés, akkor kötelező jelleggel – az adott dolgozatot még nem bírált – harmadik bíráló felkérésére kerül sor.

Az írásbeli bírálat végső pontszáma a 3. bírálat és azon másik bírálat átlaga, amelynek pontszámához előbbi közelebb van.”

Ezzel a korábbinál is nagyobb problémák vannak. A 3. bíráló kiemelt kezelése miatt – pontszáma mindenképp beleszámít az értékelésbe – nem teljesíti az A1 axiómát. Az A2* axiómát (következésképp A2-t is) szintén megsérti, mert f(50; 28; 38) = 28 + 38 = 66, de f(46; 24; 36) = 46 + 36 = 82. Ráadásul nem jól definiált, ugyanis f(50; 28; 39) egyaránt lehetne 28 + 39 = 67 vagy 50 + 39 = 89.

Az Agrártudományi Szekció szabályzatában ez áll (OTDK Agrár, 2016):

„Ha a dolgozat bírálatánál jelentős véleménykülönbség adódik (az adható pontszámok 21 %-a [sic!], vagy annál nagyobb pontkülönbség esetén), a bíráló bizottság elnöke harmadik bírálót kérhet fel a munka tudományos értékének eldöntésére.

Harmadik bíráló bevonása esetén a pontszámítás módja: súlyozott átlag. Két közelebbi bírálat pontszámát 0,4–0,4 súlyponttal, míg a harmadikat csak 0,2 súlyponttal számítják.”

Ez szellemében a BCE TDK szabályzatával egyezik meg, az A1 axióma teljesül, A2* azonban – bár egyik bírálat sem veszíti el teljes mértékben az összpontszámra gyakorolt hatását – ugyanúgy nem: f(50; 28; 38) = 0,2×50 + 0,4×28 + 0,4×38 = 36,4, miközben f(46; 24; 36) = 0,4×46 + 0,2×24 + 0,4×36 = 37,6.

A Társadalomtudományi Szekció ismét más eljárást javasol (OTDK Társadalom, 2016):

„Ha a két bírálat között legalább 15 pont az eltérés, akkor harmadik bíráló felkérésére kerül sor. Az írásbeli bírálat végső pontszáma a bírálók által adott pontszámok számtani átlaga.” A számtani átlag megfelel követelményeinknek, immár teljesül az A1 és az A2 axióma is.

Az Edutus Főiskola TDK szabályzata újabb változatot tartalmaz (Edutus TDK, 2012):

„Amennyiben a két értékelés között legalább 15 pont különbség áll fenn, a dolgozatot egy harmadik személy is elbírálja, akinek bírálata kétszeresen számít.”

Itt kizárólag a harmadik bíráló véleménye dönt, vagyis A2* ugyan teljesül, de A2 már nem, sőt A1 sem.

A tudományos diákkörök világán túllépve, pillantsunk bele a Pécsi Tudományegyetem Közgazdaságtudományi Karának hatályos záróvizsga-szabályzatába (PTE KTK, 2014):

„Amennyiben a szakdolgozat két bírálója által javasolt érdemjegy közötti különbség több, mint kettő, vagy ha az egyik bíráló elégtelenre értékeli a szakdolgozatot, a szakfelelős kijelölhet egy harmadik bírálót is. […]

Ha a harmadik bíráló felkérésére azért kerül sor, mert az egyik bírálat elégtelen (és a másik nem), akkor a harmadik bírálatot felfoghatjuk az első bírálat »felülvizsgálatának«, ezáltal a harmadik bírálat az első helyére lép. […]

Ha harmadik bíráló felkérésére azért kerül sor, mert a két bírálat között kettőnél nagyobb különbség van, akkor a harmadik bírálatot felfoghatjuk mindkét előző bírálat felülvizsgálatának, ezáltal a harmadik annak a helyére lép, amelyiktől távolabb esik ez az értékelés. (Az a két érték marad benn, amelyik közelebb áll egymáshoz: ha a korábbi bírálatok 2-es, 5-ös voltak, akkor amennyiben a harmadik bíráló 3-ast ad, akkor a 2-es és 3-as jegyek lesznek érvényesek, ha a harmadik bíráló 4-est ad, akkor a 4-es és 5-ös jegyek számítanak majd. Ez a megoldás csak akkor nem működik, ha a két eredeti bírálat 1-es és 5-ös volt, a harmadik pedig 3-ast ad; ebben az esetben határozott, ügydöntő állásfoglalásra kérhető a harmadik bíráló, tehát meg kell mondania, hogy mellette az első és második bíráló értékelése közül melyik legyen érvényes.)”

Első ránézésre itt már tényleg nem lehet probléma, az előírás mindenre kiterjedőnek tűnik, ráadásul a szakdolgozatot 1–5-ig (egész számokkal) lehet értékelni, vagyis jóval kevesebb eset fordulhat elő. A záróvizsga minősítése, többek között, a két bírálati jegy összegétől függ. A fenti szabály azonban nem független a bírálók sorrendjétől az utolsó mondatban tárgyalt eset miatt, mert f(3; 1; 5) = 3 + 5 = 8, ugyanakkor f(5; 1; 3) egyaránt lehet 4 vagy 8 a harmadik bíráló döntése alapján. Az A1 axióma fennállása ugyan biztosítható egy újabb szabály előírásával, az A2* axióma megsértésén viszont ez sem segít, mert f(4; 1; 3) = 4 + 3 = 7, de f(5; 2; 3) = 2 + 3 = 5. Tehát még egy ilyen, viszonylag kevés változatot megengedő problémánál is oda kell figyelni a harmadik bírálat megfelelő kezelésére.

Végül egy nem oktatási példa az EGT Finanszírozási Mechanizmus 2009–2014 Ösztöndíj program (HU08) keretében meghirdetett Felsőoktatási intézményközi együttműködési projektek (M4) 2015. évi pályázati fordulójának értékelése (EGT, 2015), ahol:

„Ha a két szakértő által adott összes pontszám különbsége meghaladja a magasabb pontszám 30%-át, akkor harmadik bíráló felkérésére kerül sor. Ebben az esetben a bírálók átlagpontszáma a két egymáshoz közelebb eső pontszám alapján kerül kiszámításra.”

Tehát itt sem teljesül az A2* axióma.

Az előző fejezetben megfogalmazott axiómák fennállásának ellenőrzése – némi matematikai vénával – általában nem jelent komoly kihívást. Az A1 axióma szempontjából biztosan hibás az olyan szabályozás, mely kiemelten kezeli a harmadik bírálót, az A2* axióma pedig nagy valószínűséggel nem teljesül változó, a „közelebbi” pontszámokat előnyben részesítő súlyozás mellett. Az A2 axióma megkövetelése, minden bírálói vélemény tiszteletben tartása pedig kizárja valamely pontszám teljes mellőzését. Bár annyira természetes követelménynek tűnik, hogy nem formalizáltuk, ugyancsak elvárható lenne a szabályozás egyértelműsége, ami a XXXIII. OTDK Közgazdaságtudományi Szekciója (OTDK Közgaz, 2016) esetén nem állt fenn.

Összességében a bírálati pontszámok számtani átlaga jó választásnak tűnik, emellett megfontolásra érdemes lehet más, rögzített súlyozás választása, például a legnagyobb és legkisebb pontszám 25%-os, és a középső 50%-os figyelembevétele.

Konklúzió

Egy értékelési rendszer jól viselkedőnek nevezhető, amennyiben bármelyik bíráló rosszabb véleménye alacsonyabb (kevésbé szigorúan: nem magasabb) összpontszámot eredményez, valamint a döntés független a bírálók felkérésének sorrendjétől. A második feltételt esetleg lehet vitatni, az első azonban bármely „ügyfélbarát” rendszertől megkövetelhető, véleményünk szerint kikényszerítése jogi úton is elképzelhető.

Rámutattunk arra, hogy több, a felsőoktatásban érvényes szabályozás nem teljesíti ezeket a tulajdonságokat. A különböző bírálati rendszerek áttekintése azt mutatja, gyakori megoldás a két „közelebbi” pontszám figyelembevétele, ami ugyan – lásd a bevezetést – jól indokolható, de paradox módon logikailag hibás. Nem igazán számít, milyen valószínűséggel fordulhatnak elő a fent bemutatott problémás esetek, egy hosszú ideig érvényben levő, gyakran használt szabályzat esetén előbb-utóbb mindegyik bekövetkezik. Ezért zárásként minden olvasót arra kérnénk, hasonló értékelési rendszerekkel találkozva vegye a fáradtságot a javasolt axiómák ellenőrzésére, és mielőbb hívja fel a döntéshozók figyelmét az esetleges problémákra.
 

Köszönettel tartozom Németh Gábornak, a Budapesti Corvinus Egyetem Hallgatói Tudományos Tanácsa titkárának a problémafelvetésért.
 

Kulcsszavak: szabályzat, harmadik bírálat, axiómák, monotonitás
 

IRODALOM

BCE TDK (2016): A Budapesti Corvinus Egyetem Gazdálkodástudományi-, Közgazdaságtudományi- és Társadalomtudományi Karainak Tudományos Diákköri Konferenciájának szabályzata. • WEBCÍM

Edutus TDK (2012): Edutus Főiskola: Tudományos Diákköri szabályzat. 2012 december. • WEBCÍM

EGT (2015): Pályázati felhívás az EGT Finanszírozási Mechanizmus 2009–2014 Ösztöndíj program (HU08) keretében Felsőoktatási intézményközi együttműködési projektek (M4). 2015. évi pályázati forduló. • WEBCÍM

OTDK Agrár (2016): Felhívás a XXXIII. Országos Tudományos Diákköri Konferencia Agrártudományi Szekciójában való részvételre. • WEBCÍM

OTDK Közgaz (2016): Felhívás a XXXIII. Országos Tudományos Diákköri Konferencia Közgazdaságtudományi Szekciójában való részvételre. • WEBCÍM

OTDK Társadalom (2016): Felhívás a XXXIII. Országos Tudományos Diákköri Konferencia Társadalomtudományi Szekciójában való részvételre. • WEBCÍM

PTE KTK (2014): Pécsi Tudományegyetem Közgazdaságtudományi Kar: A záróvizsgára vonatkozó szabályok. (A Kari Tanács által 2010. május 26-án, 2011. június 1-én, 2013. december 18-án és 2014 október 12-én elfogadott kiegészítésekkel) • WEBCÍM
 

LÁBJEGYZETEK

1 A dolgozat írásbeli pontszámáról két bíráló dönt, mindketten legfeljebb 30 pontot adhatnak. <

2 Itt minden bíráló max. 60 pontot adhat a dolgozatra. <