"Kedvezőtlen tény az is, hogy az interdiszciplináris kutatások eredményeit közlő folyóiratok impakt faktora alacsony."
(Kroó Norbert, az MTA főtitkára, az MTA 2004. évi közgyűlésén, Szabados László beszámolója szerint, Magyar Tudomány 2004/6)
A közelmúltban két terjedelmes írást is olvashattunk a Magyar Tudomány hasábjain az impakt faktorról (IF) a tudománymérés hazai szakértőinek tollából (Vinkler, 2003; Marton et al., 2004). E cikkekből kiderült, hogy a szakemberek jól tudják: különböző tudományok eredményeit közlő folyóiratok halmazainak IF-átlagai jelentősen különböznek. Valamely tudomány folyóiratainak IF-átlaga akár többszöröse is lehet egy másik tudományra kiszámolt értéknek! Egy harmadik cikk szerint például 1998-ban az alapvető élettudományok (fundamental life sciences), illetve a matematika és számítástudományok esetében a megfelelő folyóirathalmazok IF-átlaga 3,1 és 0,5 volt (Amin - Mabe, 2000). A fenti cikkekből az is kiderül, hogy e különbségek okaival egyelőre a téma szakértői sincsenek teljesen tisztában.
Az IF kiszámításánál valamely folyóiratban egy adott időszakban megjelent cikkekre mások által adott hivatkozások számát osztják a cikkek számával. Tehát ha egy folyóirathalmazban az IF-átlag nagyobb, akkor tt az egy cikkre jutó kapott hivatkozások (átlagos) száma is nagyobb. Vagyis - a fentiek szerint - különböző tudományok művelői többszörösen különböző számú idézést kaphatnak cikkeikre (például 1998-ban az élettudósok átlagosan hatszor annyit, mint a matematikusok).
Egy jól körülhatárolt témával, témacsoporttal foglalkozó kutatóközösség cikkei és hivatkozásai többnyire a közösségen belül (a közösség tagjainak és folyóiratainak körén belül) maradnak, s így ebben a nagyjából zárt körben az összesen adott és kapott hivatkozások száma egyenlő. Emiatt - ahogyan azt Vinkler Péter is megmutatta - egy tudomány, illetve folyóiratai IF-átlagát az határozza meg, hogy az ott megjelent cikkek (egyenként és átlagosan) hány másik cikkre hivatkoznak. Világos tehát, hogy 1998 körül a matematikusok cikkei azért kaptak az élettudósokéihoz képest csak hatodannyi idézést (folyóirataik pedig csak hatodakkora IF-eket), mert cikkeikben akkoriban átlagosan csak hatodannyi forrásmunkára hivatkoztak, mint az élettudósok a sajátjaikban.
Arról azonban már a szakértőknek is csak homályos elképzeléseik vannak, hogy különböző tudományok kutatói miért használnak cikkeikben ennyire különböző számú hivatkozást. Vagyis nem világos, hogy az adott hivatkozások (idézett forrásmunkák) cikkenkénti számát milyen hatások alakítják, milyen körülmények befolyásolják. Mayur Amin és Michael Mabe a tudományok körében a folyóirat-halmazok IF-átlagát arányosnak találták az átlagos társszerzőszámmal, amit azzal magyaráztak, hogy a társszerzőszám növekedésével nő az önhivatkozások aránya. Lehetséges persze, hogy a független hivatkozások száma is nő a társszerzőszámmal. És nem feltétlenül azért, mert e két mennyiség között ok-okozati viszony van, hanem talán csak azért, mert mindkét mennyiség hasonlóan függ valamilyen nem ismert harmadiktól. (Ha y és z ok-okozatilag egymástól független mennyiségek, de mindkettő arányos x-szel, akkor y is arányos z-vel!) Erről azonban jelenleg nincsenek megbízható adatok. Mindenesetre kézenfekvő az a feltételezés, hogy valamely hivatkozási szempontból zárt kutatóközösség folyóiratainak IF-átlagát e közösség jellemzői (beleértve ebbe a közlésre használt folyóiratok jellemzőit is) határozzák meg, nem pedig más külső körülmények.
A fentiekből kiindulva naivitás lenne azt feltételezni, hogy a cikkekben lévő hivatkozások átlagos számát és ezzel együtt az IF-átlagot is meghatározó, egyelőre kevéssé ismert okok kisebb léptékben nem működnek. Vagyis egy tudományon belüli kisebb részterületek, témacsoportok között is jelentős eltérések lehetnek a tudománymetriai mutatószámok tekintetében. Minden tudomány ugyanis sok, egyenként jóval kisebb létszámú részterületből áll, melyek az egymásra hivatkozás szempontjából még mindig igen jól elkülönülő, majdnem zárt rendszert alkotnak! E részterületek tudománymetriai mutatóit is nyilván saját jellemzőik határozzák meg, melyek nagymértékben különbözhetnek. Statisztikai alapon tulajdonképpen azt várhatjuk, hogy az egy tudományon belül elkülönülő sok kis részterület mutatóinak fluktuációi, eltérései nagyobb mértékűek, mint amilyeneket a nagy tudományok között találtak. Vagyis e kis részterületek saját IF-átlagai (és a cikkenként kapott idézetek száma) között akár több mint tízszeres eltérések is lehetnek, bizonyára jórészt függetlenül a cikkek mögött lévő munka mennyiségétől és minőségétől!
A fentiek miatt eléggé nyilvánvaló, hogy az IF alkalmatlan, használhatatlan mutató az egyedi (egy személyre, csoportra, intézetre szabott) teljesítményértékelésben. Ha még saját részesedést sem számolunk belőle (és ez egyelőre nem szokásunk, amit a legnagyobb problémaként exponáltam korábbi írásaimban, lásd Papp, 2004a-b), akkor az egyedi értékelésben elkövetett hiba akár egy további nagyságrenddel is nőhet. Komolytalan dolog egyedi teljesítményértékelésre használni egy olyan mutatószámot, amellyel az értékelés hibája ezer-tízezer százalék (tízszeres-százszoros tévedés) is lehet! Legalábbis ez a helyzet akkor, ha nem azonos részterületen működők mutatóit hasonlítjuk össze. Marton János és szerzőtársai az IF egyedi teljesítményértékelésre való használata mellett érvelnek, és többek között azzal igyekeznek védeni az IF-et, hogy "az összehasonlítások túlnyomó többsége azonos szakterületek kutatói és intézményei közt történik". Nem világos azonban, hogy itt mit értenek "szakterületen". A legkisebb, kölcsönös hivatkozás szempontjából még nagyjából zárt kutatási területek, melyeket talán elemi témacsoportoknak nevezhetnénk, és amelyek a mutatószámok tekintetében egymástól nagymértékben különbözhetnek, világviszonylatban is kis létszámúak, és nagyon sok van belőlük. Ezért csak igen ritkán fordul elő, hogy ugyanabba az elemi csoportba tartozókat hasonlítunk össze. Ez már egy tanszéki álláspályázatnál sem valószínű, kutatási vagy ösztöndíjpályázatoknál pedig még kevésbé. Egyes habilitációs vagy akadémiai doktori eljárásoknál ennél is sokkal rosszabb a helyzet: egy egész nagy tudományra ugyanannak a küszöbmutatónak az elérését követelik meg a jelöltektől. Az IF-fel (az egyedi teljesítményértékelés vonatkozásában) sok más baj is van, egy jó összesítés található ezekről Per O. Seglen írásában (Seglen, 1997). A kutatási témától való nagymértékű függése azonban a fentiek szerint önmagában is elég ahhoz, hogy egyedi teljesítmények értékelésére alkalmatlanná váljon.
A fentiek dacára nálunk az IF a tudomány bürokratái körében igen népszerű mutató, melyet ők leginkább éppen egyedi teljesítmények értékelésére használnak. Mai hazai viszonyainknak jó tükre az az idézet, amit írásom elején mottóként használtam. Az MTA 2004. évi közgyűléséről a Magyar Tudományban beszámoló tudósítás szerint az MTA főtitkára plenáris beszédében azon sajnálkozott, hogy az interdiszciplináris kutatások eredményeit közlő folyóiratok IF-je alacsony. De hát miért is baj ez? Sajnos, az idézett mondat tudósításbeli szövegkörnyezetéből nem derül ki pontosan, hogy a főtitkár úr mire gondolt. A hazai viszonyok ismeretében azonban gyanítható, hogy nagyjából a következőre gondolhatott: az interdiszciplináris kutatások művelőinek karrierkilátásait, illetve az általuk végzett kutatások anyagi támogatását, és ezeken keresztül az ilyen jellegű kutatások sikerét, e területek fejlődését az IF-ek alacsonysága kedvezőtlenül befolyásolja, mert a kutatók teljesítményét, pályázatait részben e mutató alapján bírálják el. A kutatók karrierje, kutatásaik anyagi támogatása ugyanis mostanában az IF, illetve a kapott hivatkozások függvényévé vált, vagyis ha valaki csak alacsony IF-ű folyóiratokban tud publikálni, az nemigen számíthat erkölcsi és anyagi elismerésre és kutatásainak támogatására. Emiatt a kutatókat nem vonzzák az alacsony IF-ekkel kecsegtető interdiszciplináris kutatások, ami viszont akadályozza e területek eredményes fejlődését. A főtitkár úr tehát valószínűleg emiatt sajnálkozik. De hát, kérdem én: a sajnálkozás helyett nem inkább azon kellene dolgozni, hogy függetlenítsük az erkölcsi és anyagi támogatások elosztását az IF-től? Azt azért mégsem kellene engedni, hogy az IF, illetve az elérhető hivatkozások száma szabja meg, mivel foglalkozzanak a kutatók! A fentiekben láttuk, hogy az IF értékét mekkora mértékben befolyásolják ma még jórészt ismeretlen, a tudományos munka mennyiségével és minőségével valószínűleg nem összefüggő tényezők. Gyakorlatilag nem tudjuk, hogy az IF-ek miért akkorák, amekkorák! (Bár értéküket nyilván nem a vak végzet határozza meg.) Hogyan lehet akkor megengedni, illetve eltűrni, hogy kutatók karrierjét, kutatások anyagi támogatását, és ezeken keresztül a tudomány fejlődését egy ilyen kétes hátterű mutatótól tegyék függővé?
Ez utóbbi kérdésre rögtön válaszolva: én úgy látom, hogy a megengedés, illetve eltűrés nagyrészt a tudatlanságon és nemtörődömségen alapul. Amikor a hetvenes években elkezdték az IF-eket (más célra) kiszámolni, a tudomány bürokratái, akiknek a teljesítmények megítélése volt a dolguk, úgy gondolták, hogy ez egy jó és könnyen használható eszköz lehet munkájukhoz, segítheti őket abban, hogy a javakat (erkölcsi elismerés, anyagiak) a korábbinál igazságosabban oszthassák el. Mi, kutatók pedig, akiken ezt kipróbálták, elhittük, hogy ez jobb, igazságosabb eljárás, mint a korábbi, és magunk is készségesen számolgatni kezdtünk. Azonban mind a kutatók, mind a bürokraták keveset tudtak az IF-ről, és a nagy többség még ma is keveset tud róla. Nemcsak nálunk, hanem a világon másutt is hasonlóan alakultak a dolgok. De hová vezetett mindez? A mai hazai állapotokra jellemző, hogy az MTA főtitkárának idézett mondatában nem a szóban forgó kutatási területek létszám- és szerkezeti problémái vagy az erkölcsi és anyagi támogatás növelésének szükségessége álltak a központban, hanem éppen az IF. Lassan szinte már fétiseket csinálunk az IF-ből és az idézetszámból, miközben még azt sem tudjuk, hogy értékük konkrét esetekben miért annyi, amennyi. Hovatovább, a kutatások elsődleges célja nem új ismeretek megszerzése lesz, hanem az IF-ek és a hivatkozásszámok bármilyen módon való növelése, hiszen csak ezeken keresztül vezet út az erkölcsi és anyagi elismeréshez. Ez talán nem is lenne olyan tragikus, ha e mutatószámok megbízhatóan arányosak lennének a végzett munka mennyiségével és minőségével (egyedi esetekben is), de hát, sajnos, messze nem ez a helyzet.
Mostanra külföldön - a kedvezőtlen jelenségek láttán - az éberebb kutatók már észbe kaptak, és egyre hevesebben tiltakoznak a kialakult helyzet ellen. A bürokraták viszont kitartanak, hiszen az ő dolguk a mai rendszerben könnyebb. Hiába derültek ki az IF rossz tulajdonságai, és hiába figyelmeztet maga az IF-eket kiszámoló ISI (Institute for Scientific Information) is arra, hogy az IF nem alkalmas egyedi teljesítményértékelésre (Adam, 2002), a bürokraták továbbra is ragaszkodnak hozzá. Hozzáállásukat szemlélteti Marton János és szerzőtársainak írása, melyben a szerzők az IF elleni és melletti érvek és vélemények felsorakoztatásával és szembeállításával először relativizálták a kérdést (rossz?, jó?, mihez képest?), majd a problémák kisebbítésének és a vélt előnyök kidomborításának eszközeivel élve végül (állításuk szerint jobb híján) az IF mellett foglaltak állást. Ugyanakkor elismerték, hogy a nemzetközi sajtóban a legutóbbi években megjelent vélemények többsége negatív. Saját írásom fő célja éppen az, hogy a Magyar Tudományban megjelenítsem ez utóbbi, a nemzetközi tudományos sajtóban többségi véleményvonalat is.
Lehet, hogy az IF alkalmas bizonyos dolgokra, azonban általában nem alkalmas egyedek eredményességének, teljesítményének megítélésére, összehasonlítására. Ilyen célra tehát nem lenne szabad használni, mert ez a kutatóközösségekben és munkahelyeken komoly igazságtalanságokhoz vezet. A legjobb az lenne, ha teljesen eltekintenénk a használatától, de a jelenlegi helyzethez képest már az is nagy előrelépés lenne, ha saját részesedést számolnánk belőle, csak a lehető legszűkebb kutatási területen belüli összehasonlításoknál használnánk, és sohasem csak önmagában, hanem más mutatókkal együtt.
Nyilvánvaló, hogy az eredményesség, teljesítmény értékelésére szükség van. Tehát ha az IF-et kidobjuk, valami mást kell használnunk. Molnár Jánossal és szerzőtársaival egyetértve nem gondolom, hogy vissza kellene térnünk a szakértői véleményezéshez (peer review). Nem szabad a szubjektivitásnak nagyobb teret adni, inkább az objektivitás felé kellene mozdulni. A másik divatos módszerrel, a közlemények idézettségének vizsgálatával, vagyis a ténylegesen megkapott hivatkozások számolásával is komoly problémák vannak. A fentiekben láthattuk, hogy az IF és a kapott hivatkozások száma szorosan összefügg, a tudományterületi változékonyság az utóbbira is jellemző, sőt, még az IF-énél is nagyobb mértékű. (Az azonos folyóiratokban publikáló különböző témacsoportok egy cikkre eső idézésszámai ugyanis az IF-ben kiátlagolódnak.) A kapott hivatkozások számával, mint mutatóval (ha azt az egyedi eredményesség mértékeként akarnánk használni) további bajok is vannak (Papp, 2004a; Csaba, 2004), ezért ez sem jó alternatíva. Lehet próbálkozni azzal, ahogy többen teszik is, hogy az IF és a hivatkozások száma helyett valamilyen haladottabb, kifinomultabb (például különféle befolyásoló hatásokra nézve korrigált) mutatókat számoljunk, és ezeket vagy ezek valamilyen rendszerét használjuk, de egyetlen ilyen eljárással kapcsolatban sem alakult még ki széles körű egyetértés. Erős meggyőződésem, hogy addig, amíg nem találunk jobb eljárást, a tudományos élet alsóbb régióiban (ahol még nem az akadémiai tagság vagy valamilyen nagy presztízsű díj odaítéléséről van szó) a közleményszámból számolt saját részesedésnek kellene elsőbbséget adni más mutatókkal szemben. Persze figyelemmel a közlemények minőségére (folyóiratcikk, konferencia-előadás, poszter, absztrakt stb.), a megjelenés helyére (angol nyelvű nemzetközi folyóirat, angol nyelvű egyéb közlés, nemzeti nyelvű helyi közlés stb.), és valamelyest a közlemények tartalmára (egyezés, különbözés) is. Ez sokkal tisztábban, egyértelműbben és objektívebben megítélhetővé tenné a végzett munka mennyiségét és minőségét az alsóbb szinteken, a hétköznapi rutinmunkában.
Kulcsszavak: tudományos teljesítmény mérése, tudományos közlemény, hivatkozás, impakt faktor
Irodalom
Adam, David (2002): Citation Analysis: The Counting House. Nature. 415, 726-729.
Amin, Mayur - Mabe, Michael (2000): Impact Factors: Use and Abuse. Perspectives in Publishing. 1, 1-6.
Csaba György (2004): A biológia művelésének neuralgikus pontjai. Természet Világa. 135, 9, 394-97.
Marton János - Varró A.- Varró V. (2004): Impaktfaktor és tudományos teljesítmény. M. T. 49, 12, 1395.
Papp Zoltán (2004a): A tudományos teljesítmény mérésének problémáiról. M. T. 49, 2, 232-240.
Papp Zoltán (2004b): Válasz Braun Tibornak. Magyar Tudomány. 49, 4, 532-533.
Seglen, Per O. (1997): Why the Impact Factor of Journals Should Not Be Used for Evaluating Research? British Medical Journal. 314, 498-502.
Szabados László (2004): Beszámoló az MTA 2004. évi rendes közgyűléséről. Magyar Tudomány. 49, 6, 765-774.
Vinkler Péter (2003): A Garfield-tényező. Magyar Tudomány. 48, 12, 1604-1610.