Mióta a tudomány művelése életpályává vált, egyre inkább felmerül az igény a tudománnyal foglalkozók teljesítményének valamiféle értékelésére, ha lehetséges, kvantitatív módon. Ezzel kapcsolatban a Wikipedia a következőképpen foglalja össze a kialakult helyzet lényegét: „A tudománnyal foglalkozók teljesítményének mérése sok vitát vált ki, és gyakran ellentmondásos eljárásokat eredményez. A tudományos alkotómunka egyik megnyilvánulása az új eredmények publikálása. A legismertebb tudománymetriai mérési eljárások a publikációk mennyiségét, minőségét és visszhangját próbálják meg számszerűsíteni.”

Hazánkban is folyik a vita, különösen abban a tekintetben, hogy a bibliometria (tudománymetria) módszerei mennyire megbízhatóak az egyéni tudományos teljesítmény értékelésében. A Magyar Tudományban legutóbb Csaba László, Szentes Tamás, és Zalai Ernő azt az alapvető kérdést járta körül, hogy Tudományos-e a tudománymérés? (Csaba et al., 2014), míg Vincze Imre beszédes, Tigrislovaglás című cikkében Széchenyi István mottója („…az öncsalás esztelenség” ) szellemében arra a következtetésre jut, hogy „igen nagy egységek esetén is (mint teljes tudományterületek) téves, félrevezető következtetésekre juthatunk nem jól átgondolt alapdefiníciók (mint például a tudományos teljesítmény át nem gondolt definíciója) használatával.” (Vincze, Magyar Tudomány, 2014/11, 1345. o.).

A kérdés élénken foglalkoztatja a nemzetközi kutatói közösséget is, és 2012 decemberében az Amerikai Sejtbiológiai Társaság San Francisco Declaration on Research Assessment: Putting Science into the Assessment of Research (DORA) formájában tette közzé véleményét a szóban forgó témáról (URL1). A deklaráció leszögezi: „A tudományos kutatás eredménye sokféle és változatos formában jelenhet meg, beleértve új eredményekről beszámoló publikációt, adatokat, reagenseket és szoftvert, szellemi tulajdont és magasan képzett új kutatók képzését. A kutatást támogató ügynökségeknek, intézeteknek, amelyek kutatókat alkalmaznak, valamint a tudósoknak maguknak is szükségük van arra, hogy értékeljék a tudományos eredmények minőségét és hatását. Ezért elsőrendű fontosságú, hogy a tudományos eredményeket pontosan mérjék, és bölcsen értékeljék.”

Az eredmények értékelésével kapcsolatban a legfontosabb kijelentés: „A folyóirat impaktfaktort gyakran használják elsődleges paraméterként, amellyel egyének és intézmények tudományos teljesítményét hasonlítják össze. A folyóirat-impaktfaktort, ahogyan azt a Thomson Reuters meghatározta, eredetileg azért hozták létre, amely a könyvtárosok tájékozódását segítse a folyóiratok beszerzésénél, nem pedig, hogy a cikkekben ismertetett kutatások eredményeinek mértéke legyen.”

A deklaráció fontos ajánlásokat fogalmaz meg a kutatást támogató ügynökségek, akadémiai intézmények, egyéb tudományos kutatással foglalkozó szervezetek, valamint a kutatók részére az eredmények értékelésével kapcsolatban. Ezek közül érdemes a kutatók számára tett ajánlásokat idézni:

„– Olyan bizottság tagjaként, amely döntéseket hoz a kutatások támogatása, állások betöltése vagy előléptetés ügyében, az értékelést a tudományos tartalom és ne a publikációs adatok alapján végezzék.

– Amikor az szükséges, az elsődleges irodalmat idézzék, amelyben a megfigyeléseket elsőként közlik, ne a témáról írt összefoglaló cikkeket, hogy az érdemet elismerjék, ha annak helye van.

– Az egyének által publikált kutatási eredmények hatásának bizonyítékaként többféle, a cikkekre vonatkozó metrikát és indikátort használjanak.

– Vonják kétségbe azokat a kutatásértékeléseket, amelyek helytelenül a folyóirat impaktfaktoron alapulnak, és népszerűsítsék azt a gyakorlatot, amely a specifikus kutatási eredmények értékére és hatására összpontosít.”

Az Európai Akadémia 2013 májusában, egy Stockholmban tartott nemzetközi szimpóziumon megvitatta a kérdést és a következő állásfoglalást bocsátotta ki (URL2):

„Az Academia Europaea mint az Európai Akadémia megvitatta a fenti deklarációt, és támogatja annak általános irányát. A deklaráció ki fogja váltani a már nagyon hiányolt vitát a metrikus módszerek használatáról a tudományos kutatás értékelésében. Határozottan támogatjuk azt az ajánlást, hogy a folyóiratokra támaszkodó metrikát – mint az impaktfaktorokat – ne használják a kutatók egyéni teljesítményének értékelésére. Az Európai Akadémia továbbra is aktív figyelemmel fogja kísérni a fejleményeket.”

Talán nem érdektelen a hazai olvasók számára néhány figyelemre méltó szemelvényt szó szerint idézni e témáról Lars Walløe, az Európai Akadémia elnöke The Meaning of Excellence and the Need for Excellence in Research című előadásából, amelyet 2009 szeptemberében, egy Wrocławban rendezett tanácskozáson tartott (

URL3).

„Az értékelési folyamatban sok tudós és majdnem minden egyetemi és kutatási szervezeti adminisztrátor imádja a különféle bibliometriai eszközöket. Ennek igen egyszerű a magyarázata. A »bürokrácia« szeretne egy egyszerű kvantitatív eszközt, amely a számítógép és az internet segítségével »objektív« mértékét szolgáltatná a kiválóságnak. Mindazonáltal, a kiválóság nincs közvetlen kapcsolatban annak a folyóiratnak az impaktfaktorával, amelyben a munkát közölték, a hivatkozások, valamint a publikált cikkek számával, sem pedig a még bonyolultabb bibliometriai indexekkel. Természetesen létezik valamiféle korreláció, azonban véleményem szerint gyengébb, mint azt sokan hinni szeretnék, és ezeknek az eszközöknek kritikátlan használata könnyen vezethet téves következtetésekhez. Például egy folyóirat impaktfaktorát alapvetően a közölt legjobb cikkek határozzák meg, nem pedig a sokkal nagyobb számú közönséges cikkek. Nagyon is jól tudjuk, hogy még az olyan nagy impaktfaktorú folyóiratok, mint a Science és a Nature is vagy más speciális szakterület hasonló folyóiratai időről időre publikálnak kevésbé kiváló cikkeket is.”

Hogyan lehet akkor megállapítani, mi számít kiemelkedő teljesítménynek? Erről Lars Walløe a következőképpen vélekedik:

„Elnézést ezért a közhelyért – de sok módja van annak, hogy jó tudományt vagy kiváló tudományt műveljünk. Az egyik kutató új hipotézist fogalmazhat meg egy régebbi, tévesnek bizonyult hipotézis alapján. Az is fontos eredmény lehet, ha egy érintett kutató nem képes igazolni saját hipotézisét. Más tudósok fontos új módszereket vagy berendezéseket fejlesztenek ki, vagy a szakterület már bevett módszereivel aprólékos adatgyűjtést végeznek a laboratóriumban. Hasonló módon, egy új hipotézis ellenőrzéséhez összegyűjteni a szükséges adatokat, vagy a megfelelő kísérletet elvégezni valaki más hipotézisének ellenőrzésére szintén lehet kiemelkedő és értékes eredmény. Más emberek publikált vagy publikálatlan eredményeinek kritikus újraelemzése az eredeti szerzőkre való hivatkozással fontos új felismerésekhez vezethet, és kiváló tudományos teljesítménynek számíthat. Sokféle tudományos tevékenység létezik, amely kiemelkedő lehet, ha a megfelelő módon végzik. Érdekes módon, még egy olyan hipotézis megfogalmazása is értékes eredmény lehet, amely később hibásnak bizonyul. Hadd emlékeztessek arra, hogy Sir John Carew Eccles, a jól ismert ausztrál neurobiológus hosszú ideig azt hitte, hogy a neuronok közötti kapcsolat elektromos természetű, nem pedig kémiai, ahogy ezt ma már tudjuk. Hibás hipotézisét először különféle kísérleti munkákkal igyekezett igazolni, amelyeket sok éven át publikált, azonban bebizonyosodott, hogy téved, ezért megváltoztatta álláspontját. Végül ezért a munkásságért később fiziológiai és orvostudományi Nobel-díjat kapott, amely nagyszerű példája annak, mi számít kiváló eredménynek a kutatásban.”

Nos, a felvetett probléma rendkívül aktuális, és talán érdemes lenne ezt a deklarációt nálunk is alapos vita tárgyává tenni. Ma a hazánkban uralkodó nézet szerint, ha valaki sokat publikál, és eredményeire nagyszámú hivatkozás van a szakirodalomban, akkor az illető szakterülete kiemelkedő művelőjének számít. A probléma fontosságát illetően két meghökkentő tényt érdemes azonban megemlíteni. Peter Higgs, a róla elnevezett bozon létezésének megjósolója, elnyerte a 2013. évi fizikai Nobel-díjat, teljes életműve azonban mindössze huszonöt (!) publikációból áll. Ilyen termelékenységgel nem biztos, hogy sikerrel pályázhatna OTKA-támogatásra. Egy másik végletnek az az eset felel meg, amelynél az egyik „ezerszerzős” szakterület kiemelkedő idézettséggel rendelkező kutatója sikertelenül szerepelt a doktori vizsgáján (URL4).

Egy külön kategória is figyelmet érdemel, amikor a sokszerzős cikkek szerzői között olyan kutató is szerepel, aki csupán munkahelyi vezető beosztásának köszönhetően osztozik a dicsőségben, érdemi munkát nem végzett. Erre vonatkozóan Beck Mihály akadémikus számol be a tudományos termelékenység világrekordjáról (Beck, 2006): „A rekordot valószínűleg Jurij Tyimofejevics Sztrucskov, az 1995-ben elhunyt, egyébként minden bizonnyal kiváló orosz krisztallográfus, a szerves vegyületek kristályszerkezetének kutatója tartja. Összesen több mint kétezer tudományos közleményen szerepel a neve, csak az 1981 és 1990 közötti tíz évben 948 közleménye jelent meg. Azaz átlagosan 3,9 naponként »írt« egy dolgozatot. Ebben a termékenységben annak jutott a legnagyobb szerep, hogy a Szovjetunióban egyedül az általa vezetett intézetben volt olyan berendezés, amellyel ezeket a vizsgálatokat el lehetett végezni, és természetesnek vette, hogy ráírta a nevét azokra a közleményekre is, amelyek létrejöttében egyéb szerepe nem volt. Ezt a rendkívüli termékenységet 1992-ben a gunyoros irodalmi IgNobel- díjjal »jutalmazták«.”

Fontos hangsúlyozni, hogy a tudománymetriai módszerek alkalmazása előtti időben, de még napjainkban is, a szakmai, kutató közösség mindig meglehetősen nagy biztonsággal (ha úgy tetszik, pontosan) értékelni tudta (tudja) az egyes kutatók szakmai kvalitásait és eredményeit, és soha nem fordult elő az értékelésben a fentiekben említett, két végletet megvalósító „kisiklás”. Erre való tekintettel talán több figyelmet kellene szentelni a tudományos teljesítmény értékelésénél a szakmai közösség véleményének is! Természetesen szükség van objektív mérőszámokra is, amelyek megalapozhatják a teljesítmény értékelését, és jól tükrözik az átlagos tulajdonságokat. A szakmai közösség véleménye a kiugró, az átlagtól jelentősen eltérő teljesítmények értékelésében nyújthat segítséget. A tudományos teljesítmény értékelése azonban elsősorban a hazai tudományos közösség, az Akadémia feladata és érdeke is egyben. Ezt az igényt Vincze Imre a következőképpen fogalmazta meg: „…egy olyan nagy közmegbecsülésnek örvendő intézmény, mint az MTA, akkor tarthatja meg az emberek bizalmát, ha saját intézményhálózatának teljesítményét is kritikával és a lehető legobjektívabb módon értékeli.”

A tudományos teljesítmény értékelésének „metrizálása” felvet egy érdekes elvi kérdést is. Vajon a művészi teljesítmény (zene, festészet stb.) hogyan lenne értékelhető alkalmas „művészetmetriai” paraméterek segítségével? Vajon egy termékeny karikaturistának például jobbak lehetnének-e a mutatói, mint Picassónak? Szerencsére ez már nem az MTA, hanem a Magyar Művészeti Akadémia gondja.
 

Kulcsszavak: tudományos teljesítmény értékelése, egyéni teljesítmény, tudománymetria, sokszerzős cikkek, mérési módszerek, folyóirat-impaktfaktor, szakmai közösség véleményének figyelembevétele, objektív értékelés
 

IRODALOM

Beck Mihály (2006): Mit jelentenek a tudománymetriai számok? Élet és Irodalom. augusztus 4. L, 31, • WEBCÍM

Csaba László – Szentes T. – Zalai E. (2014): Tudományos-e a tudománymérés? Megjegyzések a tudománymetria, az impaktfaktor és MTMT használatához. Magyar Tudomány. 4, 442–466. • WEBCÍM

Vincze Imre (2014): Tigrislovaglás. Magyar Tudomány. 11, 1345. o.