Egy kutató számára mindig hatalmas megtiszteltetés, ha munkáját sokan olvassák, véleményezik. Talán még nagyobb öröm, amikor egy cikk hosszas eszmecserét, szakmai vitát inspirál. Ezzel a boldogsággal eltelve vettem kezembe Bakacsi Gyula, az Országos Tudományos Diákköri Tanács (OTDT) elnökségi tagja, a Közgazdaságtudományi Szakbizottság elnökének replikáját. Valószínűleg nem véletlenül ő reagált, hiszen – többek között – éppen az OTDK Közgazdaságtudományi Szekciójának harmadik bírálóra vonatkozó szabályozását kritizáltam. A válaszból arra a következtetésre jutottam, hogy nem sikerült elég világosan kifejteni célomat, az olvasó számára talán homályban maradt cikkem fő üzenete. Az alábbiakban tehát megpróbálom az érthetőségre törekedve újra összefoglalni mondandómat, egyben rávilágítani néhány potenciális félreértésre.

1. Cikkem gondolatmenete az alábbi elvet igyekezett követni: először egy motiváló példával figyelmeztettem a problémára, majd két tulajdonságot fogalmaztam meg a harmadik bírálat megléte esetén alkalmazott értékelési módszerre vonatkozóan, végül rámutattam ezek megsértésére néhány, a gyakorlatban használt szabály esetén. A kiválasztott példák többsége TDK-dolgozatok bírálatával kapcsolatos, de – amint korábban is hangsúlyoztam – bármely más, harmadik véleményt igénylő bírálati rendszerben felmerülhet. Ugyanakkor nem mondtam ki explicit tételt, kizárólag a feltételek megsértésének kérdését vizsgáltam, amihez már egyetlen ellenpélda elegendő.

2. Bakacsi Gyula említést tesz a következetlen szóhasználatról, miszerint egyes helyeken axiómákról, másutt a bírálati rendszertől elvárt tulajdonságokról, esetleg feltételekről szólok. Szándékom szerint ezeket a fogalmakat, a szóismétlések minimalizása céljából, egymás tökéletes helyettesítőjeként használtam, amire azonban kétségtelenül fel kellett volna hívni az olvasó figyelmét.

3. A cikkemben vizsgált követelményeket (A1, A2, A2*) valóban találó Eukleidész párhuzamossági axiómájához hasonlítani, miután – reményeim szerint – mindegyik mögött világos motiváció, a bírálók egyenrangúként kezelése, illetve a végső értékelésnek az egyéni ítéletek függvényében vett monotonitása húzódik meg, ahogy a párhuzamossági axióma szintén erős tapasztalati alapokon nyugszik. Ilyen értelemben nem is szerencsés az axióma elnevezés, mert azt sugallja, mintha puszta szellemi konstrukciókról lenne szó, melyek minden negatív következmény nélkül más tulajdonságokra cserélhetők.

4. Ahogy a konklúzióban írtam: „Egy értékelési rendszer jól viselkedőnek nevezhető, amennyiben bármelyik bíráló rosszabb véleménye alacsonyabb (kevésbé szigorúan: nem magasabb) összpontszámot eredményez, valamint a döntés független a bírálók felkérésének sorrendjétől. A második feltételt esetleg lehet vitatni, az első azonban bármely ügyfélbarát rendszertől megkövetelhető, véleményünk szerint kikényszerítése jogi úton is elképzelhető.” Tehát a monotonitást (A2, A2*) fontosabbnak tartom, mint a bírálók sorrendjétől való függetlenséget (A1).

5. Az A1 axióma kizárólag arra az esetre vonatkozik, amikor két dolgozatnak egyaránt három bírálója van. A harmadik bírálat meglétének előfeltétele valóban az, hogy az első kettő között jelentős különbség mutatkozzon, ez azonban a három pontszám többféle sorrendje esetén is bekövetkezhet. Ha például maximum 30 pontot lehet elérni, és legalább 10-es különbségnél szükséges harmadik bírálatot kérni, akkor A1 értelmében a 10; 20; 30 pontszámok bármilyen permutációja mellett azonos végső értékelésnek kellene adódnia. Hiszen nem kizárt, hogy a pontszámokat ugyanazon bírálók adták, így egybehangzó véleményük szerint tudományos értelemben egyenértékű munkákról van szó.

6. Az általam megfogalmazott feltételek nyilvánvalóan nem elégségesek egy szabály karakterizálására, egyértelmű meghatározására. Szintén nem foglalkoztam a két- és hárombírálós dolgozatok összehasonlításával, mivel ez, tisztán logikai alapon, a rendelkezésre álló információ különbözősége miatt lehetetlennek tűnik. Azzal azonban nem értek egyet, hogy nyitott maradna a két- és hárombírálós művek összevetése: előbbi esetben szinte vitathatatlan a számtani átlag alkalmazása, utóbbira pedig több lehetséges szabályt is megadtam.

7. Nem tettem javaslatot az értékelési szabály jogi úton való kikényszerítésére, csupán fel szerettem volna hívni a figyelmet ennek lehetőségére (lásd a konklúzióból vett idézetet a 4. pontban). Teljes mértékben egyetértek Bakacsi Gyulával abban, hogy az értékelés maga nem apellálható. Az értékelési rendszer azonban miért ne lehetne jogi úton megtámadható? Például akkor, ha a végeredmény nem vág egybe a bírálók egyéni

véleményéből adódó nyilvánvaló következtetéssel? Esetleg egy olyan közbeszerzési eljárás analógiájára, ahol az ajánlattevő a kiíró által alkalmazott szempontok súlyozását kifogásolja.

8. Cikkem célja részben a döntéshozók „kényszerítése” volt annak kimondására, hogy az általuk választott szabály nem minden esetben teljesíti a megfogalmazott feltételeket. Kétségtelenül ritkán áll elő a vizsgált tulajdonságok előfeltevése, kiindulási pontja, szigorú értelemben véve csak akkor jelentkezik probléma, ha két tudományos munkát ugyanaz a három személy bírál. Bakacsi Gyula említést is tesz a korlátos alkalmazhatóságról, miután a legritkább esetben fordul elő egy tagozatban két „harmadik bírálatos” dolgozat.

Azonban színtiszta logikai elvek alapján eddig lehetett eljutni. Ez már elegendő ahhoz, hogy pozitív valószínűséggel bekövetkező, nem pusztán elméleti lehetőségként merüljön fel az általam vizsgált tulajdonságok teljesülésének kérdése, amire véleményem szerint a szabályalkotónak reagálnia kell. Az Arrow-féle lehetetlenségi tétel sem válik marginális eredménnyé, hiába találunk egy olyan társadalmi választási függvényt, ami diktátormentes, teljesíti az univerzális értelmezési tartomány követelményét és a Pareto-feltételt, valamint a gyakorlatban elhanyagolható valószínűséggel függ az irreleváns alternatíváktól.

9. Noha cikkemben nem fogalmaztam meg az univerzális értelmezési tartomány követelményét, ismételten felhívom a figyelmet arra, hogy a két közelebbi pontszám elve közvetlenül már csak azért sem alkalmazható, mert nem mindig létezik ilyen pontpár (legyen a három értékelés sorrendben 26; 14; 20).

10. A Bakacsi Gyula által említett elfogultsági posztulátum (nagy értékelési különbség esetén az egyik bíráló elfogult) az általam bevezetett feltételeknél ingatagabb alapokon nyugszik. Honnan tudhatjuk, hogy vannak elfogult, bár nem rosszhiszemű bírálók? Az elfogultság ekvivalens a nagy értékelési különbséggel? Miért ne fordulhatna elő, hogy a bírálók teljességgel egyetértenek a dolgozat érvrendszerében, a szerző által alkalmazott keretrendszerben, a munka tudományos értékében – csupán eltérő skálán értékelnek, máshol helyezkednek el a referenciapontjaik?

Ezért célszerű lenne a posztulátum kettéválasztása: első lépésben arról kell dönteni, létezhetnek-e elfogult bírálók, ezután pedig arról, hogyan azonosítsuk őket. Természetesen kiindulhatunk az értékelési különbségből, ám elég valószínűtlennek tűnik, hogy ebből egyértelműen következtethetünk az elfogultságra, például legalább 20 pontos eltérés esetén teljesen biztosak vagyunk benne, 19-nél viszont még kizárjuk ezt a lehetőséget. Véleményem szerint célszerűbb lenne egy sztochasztikus szabályt alkotni (azaz minél nagyobb a különbség, annál valószínűbb legyen a harmadik bíráló felkérése). Esetleg egy olyan optimalizálási feladatot felírni, ahol adott költségű, valószínűségi változónak tekintett bírálói értékelések esetén kell a lehető legmegbízhatóbb végső értékelésekhez jutni az erre a célra fordítható korlátozott „pénzösszegből”.

11. Az általam javasolt megoldás, a három bírálat számtani átlaga kétségtelenül nem szüntet meg minden problémát (bár ingatagnak minősítését túlzásnak érzem). Megtörténhet, hogy a háromból két bíráló színvonalasabbnak értékel egy dolgozatot, az összpontszám mégis alacsonyabb lesz. De ez ugyanúgy előfordulhat a két közelebbi értékelés figyelembe vételekor. Amennyiben valaki az utóbbi mellett érvelne – a monotonitás megsértésének magyarázata mellett –, olyan példát kellene mutatnia, ahol vitathatatlanul jobban teljesít. Visszatérve az euklideszi geometriával való párhuzamra: Bolyai János mesteri módon ismerte fel, hogy a párhuzamossági axióma elvetésével egy teljesen új, logikailag konzisztens rendszer alkotható – ám komoly bajba került volna, ha eredményét a hétköznapi fizikában szerette volna alkalmazni.

A fentiek alapján a Bakacsi Gyula által vitatott pontokra a következőket válaszolnám:

A végső értékelés meghatározása az általam javasoltak helyett más axiómákra is alapozható – megfelelően indokolva, hogy az én feltételeim miért nem relevánsak.

A bevezetett tulajdonságokkal minden bizonnyal elmentem a tisztán matematikai alapon történő levezetés határáig. Ettől kezdve a döntéshozók értékválasztásáról van szó, ezért nem fogalmaztam meg bizonyítható állítást.

Az A1 axióma megsértése azt jelentené, hogy két tudományos munka értékelése akkor is különbözhet, ha ugyanaz a három bíráló szakmai szempontból egyenértékűnek nyilvánította azokat.

Nem látom kizártnak az értékelési szabály meghatározásának jogi útra terelését.
 

Kulcsszavak: tudományos munka értékelése, harmadik bírálat, axiómák, monotonitás