1. ábra * SzBK folyóiratcikkek vezető és gyenge folyóiratokban
"Csak az az igazi tudomány, amely világra szól; s ezért ha igazi tudósok és - amint kell - jó magyarok akarunk lenni, úgy a tudomány zászlóját olyan magasra kell emelnünk, hogy azt határainkon túl is meglássák és megadhassák neki az illő tiszteletet."
(Eötvös Loránd)
Terjed az impakt faktor alkalmazása a kutatási teljesítmény értékelésében. Mutatja ezt, hogy 2004-ben, akárcsak 2003-ban, száznál több folyóiratközlemény foglalkozott az impakt faktorral, elsősorban az élettudományból, az alkalmazás fő területéről.
David Adam (2002) Olaszországot, Németországot és Finnországot említi, mint az impakt faktort intézményesen alkalmazó országokat. A spanyol kutatók hatévenkénti értékelésében is szerepet kapott az impakt faktor (Jiménez-Contreras, et al., 2002). Az Amerikai Egyesült Államok egyes egyetemein is használják kinevezések, támogatások és fokozatszerzések odaítélésénél (Lemasters, 2003). A brit egyetemek is figyelembe veszik az impakt faktort a kutatási támogatások odaítélésénél (Lowy, 1997). Az AWMF (Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften) hivatalosan ajánlja az impakt faktort a kutatási támogatásoknak a német egyetemi karok és nagyobb intézményi alegységek (klinikák, tanszékek, intézetek) közti felosztásánál (AWMF Vorschlag, 2000). Brazíliában már át is estek a ló másik oldalára. "A doktori disszertáció önmagában nem fontos; ami számít, az a jó folyóiratokban közölt cikk. A kutatók maguk is magas és alacsony impaktúakra osztják társaikat." (Meis et al., 2003). Lengyelországban sincs ez másképp: "Fiatal tudós vagyok. Ha kollégáimmal biológiai kérdésekről beszélünk, mindig impakt faktorok járnak az eszünkben." (Skórka, 2003).
Az értékelés bevezetése egymagában is ösztönző hatású. Megfigyelhető ez az 1. ábrán, amely az MTA Szegedi Biológiai Központ magas és alacsony impakt faktorú folyóiratközleményeit mutatja. Talán mondanunk se kell, hogy 1978-ban készült az első tudománymetriai értékelés az intézetben. Nem véletlen, hogy ekkortól esett vissza élesen a gyenge folyóiratokban való közlés. (1982-es átmeneti fellendülésük oka, hogy az Akadémia 150 éves évfordulója alkalmából felszólították az akadémiai intézeteket, hogy írjanak cikkeket a kivétel nélkül alacsony impakt faktorú akadémiai Actákba.)
Előző cikkünkben az impakt faktor alkalmazásának elveivel foglalkoztunk (Marton et al., 2004), most a gyakorlat oldaláról vesszük szemügyre.
Számos nehézséggel találkozunk:
Impakt faktort csak szoros értelemben vett folyóiratcikknek ildomos adni. A folyóiratközlemények jó része nem cikk. A cikkek többsége sokszerzős. A műfaji minősítés, a szerzőség kritériumainak teljesülése és az intézményekhez rendelés ugyancsak nem egyszerű (Fazekas - Varró, 2001).
A szerzők hozzájárulása nem azonos. Valamelyest a szerzősorrend is tükrözi ezt, leginkább az első szerző oroszlánrésze tekintetében van egyetértés. Hogy a szerzőgárdabeli pozíciót milyen részesedési arány tükrözze, arra kevesen mertek javaslatot tenni (Frömter et al., 1999; Papp, 2004).
Kívül esnek az impakt faktor látókörén a konferenciaanyagok, a tankönyvek, a könyvek és könyvfejezetek. Vannak, akik sérelmezik ezt, és önkényesen megállapított impaktfaktor-pontokat javasolnak adni (Frömter et al., 1999).
Nehézséget jelent (bár nem jelentőset) az impakt faktor időbeli változása. A Garfield-féle impakt faktort három év adataiból számítják ki (két egymás utáni év cikkeinek a következő évben kapott átlagos idézettsége), már az sem egyértelmű tehát, hogy az évek közül melyiket vegyük érvényesnek valamely cikkre nézve. Nem elvi megfontolásból, hanem éppenséggel ennek híján általában az idézési évet teszik meg az "érvényesség" évének. Az utolsó két-három év cikkeinél erre nincs mód, így aztán ezeket korábbi mércével mérik, nem éppen a következetesség jegyében. Mivel az impakt faktor többnyire kevéssé ingadozik (jóllehet kétévenként kicserélődik a teljes viszonyítási alap), szerencsére nem jelent komoly hibaforrást ez a következetlenség.
Tobias Opthof (1997) feltehetőleg a statisztikai érvényességből kiindulva leszögezte, hogy az impakt faktort nem helyes alkalmazni egyes cikkekre és egyes személyekre, ugyanakkor alkalmazhatónak jelentette ki a kutatócsoportokra, intézetekre, egyetemekre nézve, ha azok "elég nagyok". Papp Zoltán (2004) nem tesz ilyen megkülönböztetést, jóllehet javaslata szerint az impakt faktor helyett inkább azt kellene figyelni, hogy a kutató publikál-e szakterületének legtekintélyesebb folyóirataiban. (Ebben persze éppen az impakt faktor lehet leginkább segítségünkre.)
Az impakt faktor ellenzőinek legtöbbet emlegetett kifogása, hogy az impakt faktor nem tükrözi a valós idézettséget (Seglen, 1997). Ez igaz, hiszen valamely folyóirat cikkeinek idézettsége is a bibliometriában megszokott exponenciális eloszlást mutatja, habár kicsit ellentmondásos azt számon kérni az impakt faktoron, amit ugyancsak sokan elvetnek, az idézettséget mint értékmérőt. Itt tartva rá kell mutatnunk, hogy a folyóiratok mai özönében az egyes folyóiratok által elfogadott kéziratok szakmai színvonala igenis közel áll egymáshoz, éppen az impakt faktort végső soron meghatározó peer review tudatosan beállított mércéje miatt.
Illusztrálásul a 2. ábrán az MTA Szegedi Biológiai Központ 1973 és 1982 közt publikált ötvenöt magas idézettségű cikkének a legjobb évre jutó idézettség szerinti százalékos megoszlását mutatjuk be az impakt faktor függvényében. Bár az idézettségi tartományok keskenyek és a minta is kicsi, mégis rendkívül erőteljesen érvényesül a magasodó idézettség magasodó impakt faktorhoz való kötődése. Mondvacsinált tehát a felvetés, miszerint az impakt faktor nincs korrelációban a tényleges idézettséggel.
Értékelés és igazságosság
Az alkalmasság nem jelenti az alkalmazás tetszőlegességét. Az impakt faktor iránti ellenszenv egyik fő mozgatója a dilettáns alkalmazás. Számos körülmény követel körültekintést. A négy legfontosabb:
1. A teljesítmény igen szélsőségesen oszlik el a felmérés tagjai közt.
2. A szakterületek közt tekintélyes idézési esélykülönbségek vannak.
3. A többes szerzőség nem hagyható figyelmen kívül.
4. Az impakt faktor időben változik, a kis cikkszámú folyóiratok esetében néha jelentősen.
Az impakt faktor alkalmazásának technikai elemei
Számos módszer született a szakterületi különbségek kiegyenlítésére (szemle: Marton - Hulesch, 2000). Két csoportot különböztethetünk meg: az egyikben pontozzák a folyóiratokat a szakterületi impakt faktor rangsorban elfoglalt helyük szerint. A másikban valamilyen korrekciós eljárást alkalmaznak az interdiszciplináris nivellálásra. Teljes mértékben egyet kell értenünk az AWMF figyelmeztetésével, miszerint "sem a közlő folyóiratok impakt faktorainak mechanikus összegzése, sem valamilyen önkényes pontrendszer" nem alkalmas az értékelésre. Mi a teendő?
Az AWMF ajánlása leszögezi, hogy az értékelő számoknak meg kell őrizni a szakterületen belüli impakt faktor sorrendkülönbségeit (Frömter et al., 1999). E célból az egyes impakt faktorokat a szakterület átlagos impaktfaktor-értékével javasolják osztani. Az átlag kiszámításánál mellőzendők az általában igen magas impakt faktorú szemlefolyóiratok. Az AWMF-módszer két súlyos fogyatékossága első pillantásra szembeötlő:
1. Ha az impakt faktor rangsor élén egy-két kiugróan magas impakt faktorú folyóirat áll, a mezőny leszakad más szakterületekhez képest, még akkor is, ha különben magas impakt faktorú folyóiratok alkotják. Jól érzékelteti ezt a 3. ábra.
2. A tényleges impaktfaktor-átlaghoz a folyóiratok cikkszámait is figyelembe kellene venni, s az így nyert "globális impakt faktorral" dolgozni (Rousseau, 2002). Ebben az esetben az AWMF szerint csak a kihagyás útján megoldhatónak vélt szemlefolyóirat-torzítások is elenyésznének, lévén, hogy a szemlefolyóiratok cikkszáma általában igen alacsony.
Nyilvánvaló, hogy az impakt faktornak a szakterületi átlagokkal való nivellálása, még ha jobb is, mint az egymagában alkalmazott pontozás, nem jelent megoldást. Ráadásul az érintettek sohasem ismerik el, hogy például egy hatos impakt faktorú folyóirat tudományos jelentősége azonos egy másfelesével, magyarán nem hagyhatók ki az értékelésből a tényleges impakt faktorok.
Ebből következik, hogy egymagában sem a tényleges impakt faktor, sem a nivellált vagy pontszámmal kifejezett folyóiratérték nem igazságos. Kézenfekvő, hogy akkor használjunk két jellemzőt az igazságosság fokozására. Az egyik a tényleges impakt faktor, a másik a folyóirat pontszámmal kifejezett rendűsége.
A többes szerzőség is körültekintően kezelendő. A publikációk keletkezésére, szerzőségi viszonyaira és "adjusztálására" rányomja bélyegét a publikálási kényszer, számos vadhajtást eredményezve. Még rövid időintervallum alatt is erősen nő az egy cikkre jutó szerzők és intézetek száma (1. táblázat). A táblázat mintacikkeinek átlagos szerzőszáma 4,55-ről 6,15-re nőtt hét év alatt, az egy cikkre jutó intézeti aktivitás pedig 1,39-ről 1,65-re.
Ha a vizsgált időintervallum nem nagy (öt év még ilyennek tekinthető), a leghelyesebb egyetlen impaktfaktor-értékkel dolgozni, ugyanazt a folyóiratot végig azonos súlyúnak tekinteni.
Egy példa
Alább egy olyan példát mutatunk be, amelyben többféle, helyenként egymás ellensúlyozását is magukban hordozó mérőszámot alkalmaztunk. Nem állítjuk, hogy minden esetben ez a legjobb megoldás, csupán azt kívánjuk bemutatni, hogy milyen lehetőségek vannak a különféle "igazságosító" szempontok érvényesítésére.
Legyen a feladat a következő: egy orvostudományi kar intézeteinek a kari összteljesítményhez való százalékos hozzájárulását kell megállapítani az impakt faktor segítségével.
Szerencse, hogy a feladatból adódóan sem a létszámokkal, sem az intézményi tevékenység jellegéből adódó különbségekkel (oktatás, kutatás, gyógyítás) nem kell manipulálni.
Feltételeztük, hogy jelentéktelen, illetve közel azonos mértékű a feliratkozás (a nem érdemi részvétel) az egyes intézetek vonatkozásában, és azt is, hogy nincs publikációs kartell (különböző témák közti megegyezés egymás kölcsönös szerzővé tételére).
Nyilvánvaló, hogy számos, egymástól esetenként jelentősen eltérő impaktfaktor-átlagú szakterületet kell összehasonlítani.
Az eljárás:
I. Az összehasonlítási minta kiválasztása
1. Vesszük az intézetek impakt faktoros folyóiratcikkeit a három legutóbbi évből.
2. Folyóiratcikknek tekintjük a rövid közleményeket is, ha azok nem hozzászólások.
3. Csak azokat a cikkeket írjuk jóvá az intézeteknek, amelyek címadataiban fel van tüntetve az illető intézet készítési helyként.
4. Kihagyjuk az adatszolgáltatói cikkrészvételeket.
A kiválasztási eljárás indoklása pontonként:
1. Az intézeti teljesítmények az egyes években nagy ingadozást mutathatnak. Ugyanakkor törekedni kell a minél rövidebb összehasonlítási időszakra, hogy a teljesítmény időbeli változásait követni lehessen. A hároméves időszak lehetővé teszi mindkét körülmény figyelembe vételét.
2. Ez a legegyszerűbb módja a rövid közlemények és a levelezés műfaji szétválasztásának.
3. A vizsgálat célja az intézetek saját kutatási aktivitásának felmérése.
4. Az adatszolgáltatásban a szolgáltatók hozzájárulása érdemi ugyan, de túlságosan korlátozott ahhoz, hogy saját tudományos tevékenységnek lehessen tekinteni.
II. Az értékelés lépései:
Két "futam" eredményeiből alakul ki a végső részesedés.
Első futam:
1. A kiválasztási kritériumoknak megfelelő folyóiratcikkek impakt faktoraiból jóváírjuk az egyes intézeteknek a szerzőarányos részt.
2. Ezek összegét képezzük intézetenként.
3. Megállapítjuk a kari összteljesítményből való százalékos részesedést.
Második futam:
1. Az egyes cikkekhez pontszámokat rendelünk a közlő folyóiratnak az SCI JCR szakterületi listáinak impakt faktor rangsoraiban elfoglalt helyezése szerint az alábbi módon:
* nyolc pontot kap az impakt faktor rangsor első 20 %-ába eső folyóirat;
* négy pontot kap az impakt faktor rangsor 20-50 % tartományába eső folyóirat;
* két pontot kap a rangsor alsó felébe eső folyóirat.
2. A pontszámokat megkapja minden résztvevő intézet, tekintet nélkül a szerzői részhányadra.
3. Megállapítjuk a kari összteljesítményből való százalékos részesedést.
Összesítés
A két "futam" azonos súlyú hozzájárulásának és a végeredmény százalék-jellegének biztosítása céljából a két futamban elért százalékértékeket intézetenként összegezzük, majd megfelezzük. Így kapjuk meg a kari összteljesítményből való százalékos részesedést.
A futamok jellemzése:
1. Az első mérőszám nincs tekintettel a szakterületek idézettségi eltéréseire, tekintettel van viszont a szerzőarányos részesedésre.
2. A második mérőszám kiküszöböli a szakterületi különbségeket, ám nem veszi figyelembe a szerzői részhányadot. A 2, 4, 8 pontról könnyű észrevenni a hatvány szerinti növekedést. A 20, 30, 50 részarányú felosztásról nehezebb, pedig itt is van kitevő: 1,146.
A szakterületi és a szerzőszám szerinti korrekciók más (nem egyenlő) súlyarányokkal való képviseltetése is kivitelezhető. A szerzőarányos részesedés szigorítása (kiterjesztése a II. futamra) nincs hatással az összehasonlíthatóság javítására, ha a részvételi százalékok nem térnek el nagyon erősen a kisebb és nagyobb idézettségű szakterület művelőinek cikkeiben, lévén e mérőszám cikkenkénti ingadozása sokkal kisebb (mindössze négyszeres), mint a tényleges impakt faktor részesedéseké, amelyek közt akár két nagyságrendnyi különbség is lehet.
Ha két összehasonlítandó intézet cikkszámai közel állnak egymáshoz, akkor az előnyből megmarad valamennyi a magasabb idézettségi esélyű (magasabb impaktfaktor átlagú) szakterület javára. Ha a kisebb impaktfaktorú cikkekből több van, akkor a II. futam akár ezek íróinak javára is eltolhatja az egyensúlyt az összegzéskor. Ez nem tekinthető igazságtalannak, csakis akkor, ha a nagyobb cikkszám mögött nyilvánvalóan feliratkozás, pontosabban csoportközi publikálási kartell lenne tetten érhető.
Ha ugyanis a feliratkozás "belterjes", azaz például ugyanazon csoport összes tagja szerepel a csoport minden saját cikkében (a külföldi kooperációban készülteknél nemigen lehet ilyesmit csinálni), a feliratkozásnak minimális hatása van a bemutatott értékelésre. Rá kell mutatnunk ugyanakkor, hogy a kartell létének feltételezése, illetve megállapítása elkerülhetetlenül vezet bizonyíthatatlan vádaskodásokhoz. Azt is leszögezhetjük, hogy hosszabb távon (több éven át) lehetetlen publikációs kartellt fenntartani.
Felvetődhet a kérdés, van-e hatása a korrekcióknak. A szemléltetéshez párhuzamot vontunk az intézetek korrigálatlan, valamint a szerzőszámmal korrigált impakt faktor részesedései közt (4. ábra). Mint látható, a korreláció magas, de sok olyan pont van, amely távol esik a várt értéktől. A végső sorrendre való hatás egyértelmű.
Az 5. ábra a két "futam", azaz a szerzőszámarányos impaktfaktor-részesedések és a bevezetett pontrendszer alapján kapott, szerzőszámtól független pontösszegek összefüggését szemlélteti. A korreláció itt is magas, látható azonban, hogy a kétféle mutató együttes alkalmazása esetenként ugyancsak jelentősen befolyásolja a végső helyezést.
Nézzük meg végül, hogyan működik a bemutatott korrekció. Ismeretes, hogy az orvostudomány elméleti szakterületeinek impaktfaktor-átlaga általában magasabb, mint a klinikaiaké. A 2. táblázat jól mutatja, hogy a korrekció valamelyes kiegyenlítést vitt be a két csoport közé, azaz nagyobb léptékben is működik.
Végül egy felmérés arról, hogy merre tart az orvoskar. Két hároméves periódus saját impaktfaktor-részesedéseit hasonlítottuk össze a 3. táblázatban. Jelentős az általános fejlődés (28 %), szinte megdöbbentő azonban, hogy ez milyen erősen kötődik a "jókhoz", a nagyobb teljesítményt nyújtó intézetekhez. Újabb hathatós érv ez a differenciált - teljesítményhez kötött - támogatás mellett.
Kulcsszavak: tudománymetria, kutatási teljesítmény értékelése, bibliometria, impakt faktor, scientometria
1. ábra * SzBK folyóiratcikkek vezető és gyenge folyóiratokban
2. ábra * Az SzBK magas idézettségű cikkeinek százalékos megoszlása a közlő
folyóiratok impakt faktora szerint
3. ábra * Néhány szakterület vezető primer folyóiratának impakt faktora és az
annak félértékét meghaladó folyóiratok százalékaránya
Év ÁOK cikk* ÁOK szerző** ÁOK intézet*** 1995 108 491 150 2002 236 1451 390 (2002/1995)x100 213 % 296 % 260 %
1. táblázat * Az SZTE ÁOK folyóiratcikk-szerzőségi aktivitásai
*A cikk címadataiban feltüntetett SZTE ÁOK intézeti részvétellel készült, impakt faktoros folyóiratban közölt cikkek száma - **ÁOK szerzői aktivitások az ÁOK cikkekben - ***ÁOK intézeti aktivitások száma az ÁOK cikkekben (egy intézeti aktivitás mögött több szerzői aktivitás is lehet)
4. ábra * Az intézeti saját rész, és az összes cikkrészvétel teljes impakt
faktorai összegeinek összefüggése
5. ábra * Az intézeti saját rész impakt faktor-összegek és a
folyóirat-pontszámok összefüggése
Rész IF összeg % Pontösszeg % Összteljesítmény % Elméleti 363,14 54 1676 46 50 Klinikai 311,20 46 1964 54 50 Együtt 674,34 100 3640 100 100
2. táblázat * Az elméleti és klinikai intézetek részesedése a tudománymetriai teljesítmény mutatószámaiból
Intézetek rangsora Saját IF 1999-2001 Saját IF 2002-2004 Növekedés % összesből % összesből 1-10 389,34 57 552,72 63 42 % 11-20 159,63 23 187,52 22 17 % 21-50 135,18 20 133,07 15 -2 % i Összes 684,15 100 873,31 100 28 %
3. táblázat * Ötven ÁOK intézet 1999-2001 és 2002-2004 közt szerzett saját rész impaktfaktor-összegeinek összehasonlítása
IRODALOM
Adam, David (2002): Citation Analysis: The Counting House. Nature. 415, 726-729.
AWMF-Vorschlag zur Verwendung des "Impact Factor" (Empfehlungen, verabschiedet von der AWMF-Delegiertenkonferenz im Mai 2000): http://www.uni-duesseldorf.de/AWMF/bimet/impa-emp.htm
Fazekas Tamás - Varró Vince (2001): A scientometria és a hazai szakirodalmi tevékenység. Etikai és technikai kérdések. Orvosi Hetilap. 142, 2493-2499.
Frömter, E. - Brähler, E. - Langenbeck, U. - Meenen, N. M. - Usadel, K. H. (1999): Das AWMF-Modell zur Evaluierung publizierter Forschungsbeiträge in der Medizin. Deutsche Medizinische Wochenschrift 124, 910-915
Jiménez-Contreras, Evaristo - López-Cózar, E. D. - Ruiz-Pérez, R. - Fernández, V. M. (2002): Impact-factor Rewards Affect Spanish Research. Nature. 417, 898.
Lemasters, John J. (2003): Impact Factors - A Good Thing? Gastroenterology 124, 286.
Lowy, Clara (1997): Impact Factor Limits Funding. The Lancet. 350, 1035.
Marton János - Varró A. - Varró V. (2004): Impakt faktor és tudományos teljesítmény. Magyar Tudomány 111, 1395-1403.
Marton János - Hulesch Helga (2000): Külföldi folyóiratcikkek a tudományos tevékenység értékelésében. Orvosi Hetilap. 141, 2659-2665.
Meis, Leopoldo de - Carmo, M. S. d. - Meis, C. d. (2003): Impact Factors: Just Part of Research Treadmill. Nature. 424, 723.
Opthof, Tobias (1997): Sense and Nonsense about Impact Factor. Cardiovascular Research. 33, 1-7.
Papp Zoltán (2004): A tudományos teljesítmény mérésének problémáiról. Magyar Tudomány. 49, 232-40.
Rousseau, Ronald (2002): Journal Evaluation: Technical and Practical Issues. Library Trends. 50, 418-439.
Seglen, Per O. (1997): Why the Impact Factor of Journals Should Not Be Used for Evaluating Research. British Medical Journal. 31, 498-502.
Skórka, Piotr (2003): How Do Impact Factors Relate to the Real World? Nature. 425, 661.