Az impaktfaktor nem szűnik meg a tudománymetria fekete báránya lenni. (A névalak szentesítője Braun Tibor, a magyar és nemzetközi tudománymetria vezéralakja [Braun, 2008]). A téma évenként százra menő cikkeinek többsége kritikai hangvételű. Paradox módon ennek egyik fő oka, hogy egyre szélesebb körben használják az impaktfaktort a tudomány irányítói és szponzorálói a címek, díjak, támogatások odaítélésénél (szemle: Marton et al., 2004, 2006), de mivel az érintett kutatók, intézetek túlnyomó többsége átlag alatti teljesítményt nyújt (szemle: Seglen, 1992), a fogadtatás ennek megfelelő.

Az impaktfaktort eredetileg a folyóiratok kortól és cikkszámtól többé-kevésbé független idézettségi mutatójául javasolta Eugene Garfield (szemle: Vinkler, 2003), ám ebben a minőségben sem aratott sok babért, jóllehet bármely szakterület folyóiratainak impaktfaktor rangsora a lehető legszorosabb korrelációban áll az olvasók szerinti szakmai tekintéllyel. Philip Campbell, a Nature főszerkesztője írt nemrégiben (2008) cikket sokat mondó címmel: Escape from the Impact Factor. Fő kifogását sokan és régóta emlegetik: az impaktfaktor nem a cikkek többségét képviselő átlag, hanem néhány erősen idézett cikk járul hozzá legnagyobb mértékben, azaz a cikkek túlnyomó többségének idézettsége alatta, sőt jelentősen alatta van az átlagnak. Ugyanazt állapítja meg tehát, amiről Per O. Seglen említett szemléje szól. Nem érthető azonban, s nem is kapunk indoklást arra nézve, hogy miért alkalmatlan az ilyen eloszlás az átlagolásra.

A másodikként említhető kifogás: az impaktfaktor szakterületfüggő. Ez egyenes következménye az idézettség szakterületfüggőségének. Az összehasonlíthatóság javítására számos módszert javasoltak, kielégítő eredményességgel (szemle: Marton–Hulesch, 2000).

Van egy sokat emlegetett harmadik kifogás is: az impaktfaktor alkalmas lehet nagyobb egységek (kutatócsoportok és intézetek) értékelésére, de nem alkalmas az egyénekére. Ennek a kijelentésnek nincs ismeretelméleti magyarázata, anélkül pedig nyilvánvalóan nem áll meg.

A negyedik kifogást tartják a legsúlyosabbnak: az impaktfaktor nem tükrözi az egyes cikkek tényleges idézettségét, jóllehet, ha belegondolunk, a nagy idézettség és a magas impaktfaktor feltételezi egymást. Sokkal inkább arról van szó, hogy nehéz alkalmas mintát és összehasonlító módszert találni az impaktfaktor és az idézettség összevetésére. A megfelelő mintákon, megfelelő módszerekkel készített összehasonlítások jól tükrözik ezt (Marton, 1982; Marton et al., 2006). A különböző korú cikkek idézettségi összehasonlítása gyakorlatilag képtelenség, egy ilyen heterogén mintának az impaktfaktorral való összevetése pedig még nagyobb képtelenség.

Ez az ellenvetés ismeretelméletileg is ellentmondásos: az idézettség és a szakmai érték közti összefüggést ugyanis szintén számos támadás érte (szemle: MacRoberts, M. H. – MacRoberts, B. R., 1996; Lawrence, 2007). MacRobertsék fő kifogása, hogy a szerzők nem hivatkoznak mindig valamely tudományos eredmény felfedezőire. Peter A. Lawrence a másik oldalról kerít be: saját cikkének 48 kapott idézete közül szerinte 37 (!) jelentéktelen, marginális a cikk érdeme szempontjából. Ahogy írja: a 37 idézésben e cikk helyett másikat is lehetett, kellett volna idézni. Mindebből az következik, hogy ha az impaktfaktor jobban megfelelne a cikkek tényleges idézettségének, még mindig csak a csöbörben lennénk a vödör helyett. (Ráadásul akkor minek az egyik egyáltalán?)

Miért terjed mégis az impaktfaktor mint a tudományos teljesítmény értékmérője? A fő ok a kényelmesség: az impaktfaktor azonnal hozzárendelhető a cikkhez, az idézettségre évekig, sőt évtizedekig kell várni.

Az idézettség mögött idézési motívumokat, értelmezést kell keresni (önidézet, „negatív” idézet stb.), az impaktfaktornál átléphetjük ezt, van egy kellemes összemosó jellege, amit fokoz az is, hogy három év kell a létrejöttéhez, és az egyes évekkel való kapcsolata szinte értelmezhetetlen. Említsük meg itt, hogy bár az impaktfaktor alapjául szolgáló cikkek kétévenként teljesen kicserélődnek, az egyes folyóiratok impaktfaktora meglepően állandó. E jelenségnek könnyen lehet ismeretelméleti magyarázatát adni: minden folyóirat szakmai lektorálásnak (peer review) veti alá a kéziratokat. Ennek szigorúsága inkább többé, mint kevésbé állandó. Sőt: a szerzők maguk is mérlegelik kéziratukat akkor, amikor valamely vezető folyóirathoz vagy kevésbé szigorúhoz küldik el.

Miért alkalmas az impaktfaktor
a tudományos teljesítmény jellemzésére?

A szakmai lektorok értékelése a tényleges tartalomhoz, annak színvonalához kötődik: a minőséghez – hogy mennyire jól, precízen végezték el a munkát, és a fontossághoz – a közölt eredmények potenciális jelentősége a szakterület számára (Martin, 1996). Szigorúságuk közvetlen kapcsolatban áll a majdan létrejövő impaktfaktor nagyságával (Opthof et al., 2002). E kapcsolat egyirányú: mint Seglen (1997) rámutatott, a magasabb impaktfaktorú folyóiratban való közlés nem hoz extra idézeteket. Az impaktfaktor tehát nem a folyóirat kreálta műtermék, hanem a benne lévő cikktömeg tényleges közös idézettsége.

De adjuk itt át a szót a legilletékesebbnek, a fent említett Philip Campbellnek: „Miért volt a legtöbb (Nature) cikk idézettsége alacsony (a mi mércénk szerint)? Azért, mert alacsony idézési potenciálú szakterületekhez tartoznak, vagy ahol az idézetszám lassan nő, vagy mivel kitűnőek voltak ugyan, de nem tartoztak „forró” kutatási mezőhöz.” Helyben vagyunk: a Nature-cikkek szakmai színvonala – a minőség és a fontosság hordozója – kivétel nélkül magas, jóllehet egyenetlen idézettségük nem tükrözi ezt. Tükrözi viszont a mindegyikhez ugyanúgy köthető (igen magas) impaktfaktor!

A Magyar Tudomány, mint jelen cikkünk irodalomjegyzéke (benne Vinkler, 2008) is tanúsítja, a magyar tudománymetriai szakirodalom fő fóruma. Természetszerűleg az impaktfaktor mint a tudományos teljesítmény értékmérője is kiemelten szerepel. A világ legelső ilyen cikke éppen a Magyar Tudományban jelent meg (Marton, 1978).

Jelen munkánk az impaktfaktornak a tudományos aktivitás finomabb (szerkezeti és időbeli tendenciális) elemzésére való felhasználását célozza, csatlakozva korábbi cikkünkhöz (Marton et al., 2006). Az 1. táblázatban a Szegedi Tudományegyetem Általános Orvostudományi Kara (ÁOK) cikk- és impaktfaktor-adatait találjuk az utolsó hat lezárt évből. [A mintába azok a folyóiratcikkek (article) kerültek bele, amelyekben ÁOK-os szerző szerepelt.]

Az impaktfaktoros folyóiratokban megjelent cikkek száma mutat csekély emelkedő tendenciát, de a cikkszámok ingadoznak, az emelkedés egyáltalán nem kifejezett.

Egyértelműbb az impaktfaktor összeg emelkedése. A két szélső év között csaknem kétszeres a különbség, igaz, hogy közben a 2005-ös kiugrás után két évig – ha nem is nagymértékű – csökkenés állt be.

A cikkek impaktfaktor-átlagának emelkedési tendenciája még határozottabb, itt csak 2007-ben volt egy kisebb esés. A 2007-es évben minden tekintetben (cikkszám, impaktfaktor-összeg, impaktfaktor átlag) visszaesés volt, mindegyiket bőven kompenzálják azonban a 2008-as rekordok. Mindössze az éves idősorokban megszokott kisebb ingadozás történt tehát 2007-ben, nem valódi megtorpanás. Érdekes ezzel kapcsolatban, hogy 2008-ban a cikkszám nem lett kiugró, annál inkább az impaktfaktor-összeg és az -átlag. Bízvást mondható: minőségi ugrás következett be.

Erről van-e szó tényleg? A választ a saját rész vizsgálata adja meg. A saját rész elkülönítéséhez elhagytuk a mintából azokat a cikkeket, amelyeknél az ÁOK nem szerepelt a címadatokban, azaz valamely munkatárs ÁOK-on kívüli kutatóhelyen végzett munkájáról van szó, nem pedig intézményi kooperációról. A ténylegesen saját cikkekből, illetve azok impaktfaktoraiból a szerzőarányos részt írtuk jóvá az egyes ÁOK-kutatóhelyeknek (elméleti intézeteknek és klinikáknak). Ilyen módon a kari összteljesítmény megbízhatóan létrehozható a részegységek összegzésével, nincs redundancia.

A saját impaktfaktor-összegek éves alakulását a 2. táblázatban találjuk. Az emelkedés csak 2007-ben szakadt meg, de a 2008-as nagy kiugrás bőven kompenzálja ezt, joggal mondható tehát a felívelés tendenciája egyértelműnek.

Negyvenhárom olyan intézete van az ÁOK-nak, amelyben rendszeres kutatómunka folyik. A teljesítmények köztük való megoszlásának jellemzésére külön egységként vettük az egyes években az impaktfaktor-összegek tekintetében az első tíz helyen álló intézetet. (Csekély kivétellel mindig ugyanazok szerepelnek köztük, bár a helyezésekben jelentősebb az ingadozás.) Érdekes, hogy számukra nemcsak a 2007-es, hanem a 2006-os év is gyengébben sikerült. 2006-ban nemcsak az összteljesítményük, hanem az ÁOK-összteljesítményből való részesedésük is visszaesett (63%). 2007-ben sem nőtt a teljesítményük, de ebben az évben a részesedésük ismét 71% lett, a 2007-es általános visszaesésben tehát az erős és gyengébb intézetek is „ludasak”.

A 2008-as évet részletesebben vizsgáltuk, különös tekintettel arra, hogy hogyan részesedik az első tíz intézet, illetve a többi az összes (szerzői részhányaddal nem korrigált) impaktfaktorból a saját (szerzői részhányaddal korrigált) impaktfaktor mellett. Az összes impaktfaktor képzésekor az egyes intézetek munkatársainak részvételével készült összes cikket figyelembe vettük. Ilyen módon az ÁOK-intézetek közti kooperációban készült cikkek minden intézetnél beszámításra kerültek, ami miatt az ÁOK-összteljesítményt ez esetben nem lehetett a részeredmények összegzésével képezni. Ám az adatok alkalmasak a két teljesítménykategória jellemzésére.

A 3. táblázatból kiderül, hogy a saját impaktfaktor-teljesítésben vezető intézetek a kooperációs munkáikból jóval nagyobb mértékben részesednek, mint a többiek, illetve magasabb a túlnyomórészt önálló munkák aránya. Az intenzitás és az effektivitás tehát itt is kéz a kézben jár, ahogy azt más esetekben is kimutattuk (Marton et al., 1998; Kiss – Marton, 2006).

A tanulság, hogy az intenzíven dolgozókat kell és érdemes támogatni, az egész magyar tudományirányítás számára releváns.
 

Kulcsszavak: tudománymetria, impaktfaktor
 

IRODALOM

Braun Tibor (2008): Szellem a palackból. Tudománymetriai értékelések. Magyar Tudomány. 169, 1366–1371.

Campbell, Philip (2008): Escape from the Impact Factor. Ethics in Science and Environmental Politics. 8, 5–7.

Lawrence, Peter A. (2007): The Mismeasurement of Science. Current Biology. 17, R583–R585.

MacRoberts, Michael H. – MacRoberts, Barbara R. (1996): Problems of Citation Analysis. Scientometrics. 36, 435–444.

Martin, Ben R. (1996): The Use of Multiple Indicators in the Assessment of Basic Research. Scientometrics. 36, 445–472.

Marton János (1978): Magyar publikációk külföldi folyóiratokban. Bibliometriai vizsgálatok az élettudományok területén. Magyar Tudomány. 23, 922–26.
Marton János (1982): Az 1977-es magyar élettudományi folyóiratcikkek idézettsége 1980-ig. Magyar Tudomány. 27, 661-664.

Marton János – Hulesch H. – Zallár I. (1998): Intensity Breeds Effectivity. Scientometrics. 41, 411–415.

Marton János – Hulesch H. (2000) Külföldi folyóiratcikkek a tudományos tevékenység értékelésében. Orvosi Hetilap. 141, 2659–2665.

Marton János – Varró A. – Varró V. (2004): Impaktfaktor és tudományos teljesítmény. Magyar Tudomány. 111, 1395–1403.

Marton János – Pap K. – Hulesch H. (2006): Impaktfaktor és kutatási teljesítmény – az értékelés gyakorlata. Magyar Tudomány. 167, 92–98.

Opthof, Tobias – Coronel, R. – Janse, M. J. (2002): Submissions, Impact Factor, Reviewer Recommendations and Geographical Bias within the Peer Review System (1997-2002): Focus on Germany. Cardiovascular Research. 55, 215–219.

Seglen, Per O. (1997): Why the Impact Factor of Journals Should Not Be Used for Evaluation Research. British Medical Journal. 31, 498–502.

Vinkler Péter (2003): A Garfield-tényező. Magyar Tudomány. 49,1604–1610.

Vinkler Péter (2008): Tudománymetriai kutatások Magyarországon. Magyar Tudomány. 169, 1372–80.