"Mérek tehát Uram Istenem,
és nem tudom, mit mérek."
(Szent Ágoston)
Irodalmi áttekintés és elvi alapok
A tudományos teljesítmény exponenciálisan csökken, ha művelőit teljesítményük szerint állítjuk rangsorba. Következésképp a tudományos közösség túlnyomó többsége átlag alatti teljesítményű, sőt mint Alfred Lotka (az Amerikai Statisztikai Társaság egykori elnöke) már 1926-ban kimutatta, a róla elnevezett fordított négyzetes eloszlás mellett az értékeltek 61 %-a a minimális teljesítmény tartományába esik (esetében az egycikkes szerzők közé). Per O. Seglen (1992) szellemes, de nem vitathatatlan magyarázata szerint ez az eloszlás a kiválóság (pontosabban a kivételesség) valamilyen mérhető kritériumának eleget tevő személyek eloszlásának felel meg. Az értékelés mindig kényes téma volt és marad.
A tudományos teljesítmény értékelésének két módja ismeretes: a szakértői (peer
review) és a hetvenes években kiszélesedett idézetelemzés. Ez utóbbinak két fő területe van: az egyik a közlemények közvetlen idézettségének vizsgálata, a másik pedig a cikket közlő folyóirat valamely időszak alatti cikkeinek bizonyos időszak alatt elért átlagos idézettsége, az impakt faktor.
A tudományos teljesítmény értékelése nem véletlenül áll szoros kapcsolatban a közleményekkel, hiszen a szakirodalom mondhatni megtestesülése a tudománynak. Nem titok, hogy szakértői vélemény is a közleményekre támaszkodik elsősorban.
A peer review ellenzői a szubjektivitást kifogásolják. Sokatmondó Christine Wennerĺs - Agnes Wold (1997) cikkének címe: Nepotism and Sexism in Peer Review.
A közlemények idézettségét az objektivitás jegyében vonták be az értékelésbe. Nehézségeit a legalaposabban (bár nem a legelfogulatlanabbul) Michael H. MacRoberts és Barbara R. MacRoberts (1996) tárgyalták szemléjükben. Mint számos példán bemutatták, a szerzők nem idézik a munkájuk szempontjából fontos művek mindegyikét, s ráadásul az idézés motívuma korántsem csak az idézett mű tudományos jelentősége. Ebből arra következtettek, hogy az idézettség nem tükrözi a tudományos értéket.
Az impakt faktort a folyóiratok kortól és terjedelemtől független, azaz az összehasonlíthatóságot jól szolgáló idézettségi mutatójául ajánlotta kidolgozója, Eugene Garfield 1972-ben. A sokoldalú fogalmi megértéshez Vinkler Péter (2003) elemzése ajánlható. A tudományos teljesítmény értékelését célzó alkalmazás legalaposabb és legobjektívabb szemléje Karl-Franz Kaltenborn és Klaus Kuhn (2003) tanulmánya. Az első "kommerciális" impaktfaktor-lista 1976-ben jelent meg, az 1975-ös Science Citation Index Journal Citation Reports (SCI JCR) kötetében. Az 1972-73-as cikkek 1974-es átlagos idézettségét adta meg. Magyarországon alkalmazták először ezt a listát illetve az impakt faktort a tudományos teljesítmény értékelésére (Marton, 1978).
Impakt faktor - a legrosszabb?
Nem kevesen vélekednek úgy, hogy a valóságtól leginkább elrugaszkodott tudományértékelési eszköz az impakt faktor (Seglen, 1997). Az idézetelemzés nagytekintélyű tudósa, Anthony van Raan szerint az impaktfaktor-számlálás "a szegények idézetelemzése" (Adam, 2002). Azt ellenzők fő aggálya, hogy az impakt faktor nem tükrözi a cikkek tényleges idézettségét.
2003-ban száznál több folyóiratközlemény foglalkozott az impakt faktorral, elsősorban az élettudományban, az alkalmazás fő területén. Tagadhatatlan, hogy a vélekedések többsége negatív, ám korántsem mind.
Bizonyos, hogy mind a nagy, mind a kis országokban terjed az impakt faktor alkalmazása a tudományos teljesítmény értékelésében.
A német AWMF (Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften) hivatalosan ajánlja az impakt faktort a kutatási támogatásoknak az egyetemi karok és nagyobb intézményi alegységek (klinikák, tanszékek, intézetek) közti felosztásánál (AWMF Vorschlag, 2000).
A minél több és minél magasabb impakt faktor utáni hajsza nem csak a közlemények szerzőit érinti. Evaristo Jimenez-Contreras és munkatársai (2002) szerint 1989 óta, amikor bevonták az impakt faktort a kutatók értékelésébe, csökkent a spanyol nyelvű közlemények száma, miközben nőtt az impakt faktoros folyóiratban közölt spanyol cikkek száma.
Peter A. Lawrence (2003) rámutatott, hogy nemcsak a kutatók, hanem a folyóiratok is belekényszerülnek az idézetekért folyó versenybe impakt faktoruk növelésének érdekében. A Development 1990-ben a kéziratok 50 %-át utasította el, 2002-ben már 70 %-ot. Tegyük hozzá, hogy impakt faktora eközben 4,862-ről 7,883-ra nőtt. Itt kell megemlítenünk, hogy a visszautasított kéziratok többsége megjelenik később más, jobban a témához illő vagy liberálisabb folyóiratokban. Vannak olyan félelmek is, hogy az impakt faktor favorizálása következtében elsorvadnak egyes, kevésbé idézett szakterületek. Sokan mutattak ki a lényeget nem érintő, de kisebb-nagyobb torzításokat eredményező hibákat az impakt faktorral kapcsolatos idézetszámlálás és közleményszámlálás (beszámítás) terén.
Köztudomású, hogy az idézetelemzés érvényessége statisztikai. Ez alól az impakt faktor sem kivétel. Kiragadott példákkal - kivételekkel - tehát nem lehet operálni a vele kapcsolatos vitában, jóllehet igen sokan ezt teszik.
Keményebb dió az idézettségi esély szakterület-függősége (a szakterületek impakt faktor átlagainak eltérése), négy okból is:
1. Az egyes témák szakirodalma a folyóiratok széles tematikai spektrumát öleli fel.
2. Sok folyóirat nem csak egy szakterülethez tartozik.
3. A Science Citation Index esetenként a szakterületek behatárolását rosszul végezte. Így például a gyógyszertan és a gyógyszerészet összevonása az utóbbi szakterület művelőire hátrányos. Megemlítjük itt a leginkább nyilvánvaló és leggyakoribb visszásságot: számos szakterület klinikai és alapkutatási ágazatának elválasztatlansága hasonló diszkriminációkhoz vezet.
4. Az egyes személyek szakirodalmi tevékenysége több téma és még több folyóirat-témacsoport közt oszlik meg.
A szakterületek közti különbségek korrigálására számos módszer ismeretes (szemle: Marton - Hulesch, 2000).
Az impakt faktor maga is változik idővel, vagy legalábbis ingadozik.
Közismert, hogy impakt faktort csak azok a folyóiratok kapnak, amelyeket referál a Science Citation Index. A válogatásban hátrányt szenvednek a nem angol nyelvű folyóiratok.
Itt említjük meg, amit minden kritikus az impakt faktor korlátjaként hoz fel, tudniillik, hogy csakis azonos szakterületen belüli összehasonlításra alkalmas, ám senki sem magyarázta el eddig, hogy hogyan hasonlítsunk össze a peer review segítségével mondjuk egy oxiológust egy geodétával. Mellesleg ebben is az impakt faktor segítene a legtöbbet. Rá kell mutatnunk arra is, hogy az összehasonlítások túlnyomó többsége azonos szakterületek kutatói és intézményei közt történik.
Impakt faktor - a legjobb!
Az impakt faktor körüli vitában nemcsak negatívumok hangzanak el. Adam Lomnicki (2003) szerint a tudományos teljesítmény szempontjából kevésbé fejlett országokban káros lenne felhagyni az idézetelemzéses értékeléssel (ide számítva az impakt faktort is). Meggátolná, hogy látható legyen, mennyire el vannak maradva - s ami talán még rosszabb -, nehezebb lenne a jó kutatók felismerése. Magyarországra is vonatkozik ez. A magyar részvétel a vezető élettudományi folyóiratokban mélyen az elvárható alatt van (Zallár et al., 1997), jóllehet nálunk is vannak kitűnő tudósok impozáns cikklistákkal.
Az impakt faktor és a szakmai kiválóság közt sokan, sokféle összefüggést állapítottak meg. Néhány újabb eredmény: A Society for Academic Emergency Medicine-hez benyújtott konferenciaelőadásokat többféle mutató alapján értékelték (peer review). A később belőlük készült folyóiratcikkek idézettségének kiemelkedően legjobb előrejelzője a közlő folyóirat impakt faktora volt (Callaham et al., 2002). Somnath Saha és munkatársai (2003) kimutatták, hogy erős a korreláció a folyóiratok impakt faktora és az orvosok által készített szakmai rangsorolás közt. Tobias Opthof és munkatársai (2002) cikkéből kiderül, hogy ha a közölt kéziratok által kapott lektori vélemények szerint szigorították volna a megjelenést, növekedett volna az impakt faktor. Ide kívánkozik Seglen (1997) megállapítása: nem nyer extra idézeteket az, aki magasabb impakt faktorú folyóiratban közöl. A magas impakt faktorú folyóiratokba való törekvés hajtóerejét a tekintélyes publikációs fórum nyújtotta előny képezi (láthatóság, alapos tanulmányozás és az így megszerezhető személyes presztízs).
Felmerülhet a kérdés, hogy a nehézségek ellenére miért nyerhetett és nyer egyre nagyobb teret az impakt faktor a teljesítményértékelésben. Minden bizonnyal nem mélyenszántó elméleti megfontolások, hanem elsősorban a kényelmesség, a könnyű alkalmazhatóság szól mellette. Ellentétben a tényleges idézettséggel, az impakt faktor nem időfüggő: egyrészt azonnal hozzá lehet rendelni a cikkhez, másrészt nincs szükség a különböző korú cikkek tényleges idézettsége közötti felettébb bizonytalan összehasonlítási korrekciókra.
Szerencsés körülmény, hogy a természettudományokban és az orvostudományban (science) az eredeti vizsgálati eredményeket közlő folyóiratcikkek a legfontosabbak, ezek képezik az értékelés szükséges és elégséges alapját. Szakfolyóiratok valamennyi témakörben bőséggel állnak rendelkezésre.
Igen fontos, az impakt faktor jelentőségét az egyéb értékelési eljárások fölé emelő elvi érv: az impakt faktor egyesíti az értékelés szubjektív és objektív elemét: a peer review-t és idézetszámlálást, ezáltal mindkettőnél jobb összehasonlíthatóságot eredményez.
Miből következik a jobb összehasonlíthatóság? Minthogy az egyes folyóiratokat nézve elvileg egységes a lektorálás (főleg ami a befogadási küszöböt illeti), és ebből következően a kéziratrostálódás egyre erősebb, fokozódik az azonos folyóiraton belül a cikkszínvonal homogenizálódása. Következésképpen az átlagot kifejező impakt faktor jobban képviseli az egyes cikkek színvonalát, mint a sokféle okból erősen szóródó tényleges idézettség. Egy kézirat elfogadásában inkább számít a tartalom értéke, mint a szerzők nevessége, míg az idézettségben többnyire sokkal többet nyom a latban az, hogy a cikket jegyzi-e valamely tudományos autoritás. Az impakt faktor értékelő eszközként tehát legalábbis eléri a peer review és az egyedi idézettség alkalmasságát. Ha Ben R. Martin (1996) három minősítési ismérvére gondolunk a folyóiratcikkekkel kapcsolatban:
* minőség: mennyire jól végezték el a kutatást;
* fontosság: az illető munka potenciális jelentősége a téma egyéb kutatási aktivitásai számára;
* befolyás: a tényleges hatás (ezzel áll legszorosabb kapcsolatban az idézettség),
könnyen belátható, hogy az impakt faktor szorosabb kapcsolatban áll az első két ismérvvel, mint az idézettség, éppen a peer review-nak ezekhez való erősebb kötődése miatt.
Szempontok az egyének tudománymetriai értékeléséhez Magyarországon
A tudománymetriai mutatók, az impakt faktor és az idézettség kizárólag a tudományos teljesítmény értékeléséhez nyújtanak segítséget. A következőkben - pro és contra - elsősorban a helyes értékelés magyar viszonyoknak megfelelő gyakorlati szempontjait tekintjük át.
Mi indokolja a tudománymetriai értékelés létjogosultságát?
Az egyén munkásságának számszerű, nemzetközi szintű összehasonlítását teszi lehetővé. Ezzel objektív irányba tereli a döntéshozó testületek tevékenységét, nehezíti az elfogult (protekciós) állásfoglalás érvényesülését.
Milyen megszorításokkal használhatók ezek a mérőszámok?
Minthogy kizárólagosan a tudományos teljesítményről adnak bizonyos felvilágosítást, számos, sem a tudományos tevékenységben, sem más munkaterületeken nem elhanyagolható egyéb képességről (megbízhatóság, vezetői tehetség, kapcsolatteremtő készség) nem adnak képet. Ezért csak részleges súlyuk lehet minden olyan esetben, amikor a megítélésnek a tudományos teljesítmény csak egyik, de nem döntő része. Példával illusztrálva: elsődleges szempont az impakt faktor egy kutatási ösztöndíj elnyerésében, de elhanyagolható egy rendelőintézeti igazgatói állásra benyújtott pályázatban. E szélsőséges esetek közé eső döntéshozatalokban hol kisebb, hol nagyobb arányban határozható meg súlya.
Bár többen szeretnék, ha országos viszonylatban azonos feladatra azonos értékelő eljárást használnának, általában előnyösebbnek mondható, ha a pályáztató (MTA, egyetem, kórház) maga állítja össze követelményrendszerét, s határozza meg a vonatkozó számértékeket.
Vita tárgyát képezheti, hogy vajon differenciáltan használandók-e ezek az indexszámok, vagy az élettudományban a követelmények a tudományágtól függetlenül azonosak legyenek. Túlnyomó azoknak a száma, akik eltérő kritériumokat érvényesítenének az elméleti és a klinikai kutatás megítélésében, bár az elkülönítésnek nemegyszer objektív nehézségei lehetnek. Nem ennyire egységes a vélemény az azonos tudományszakon (például belgyógyászat) belüli differenciálást illetően. Egyesek úgy vélik, hogy az orvostudományban mindenkinek módjában áll - például kooperációt igénybe véve - jelentős felismeréseket eredményező vizsgálatokat végezni. Szerintük fölösleges a differenciálás.
Ezen elvileg helyes álláspont érvényesülését az teszi vitathatóvá, hogy az egyes szakterületek folyóiratainak impaktfaktor-átlaga jelentősen eltérhet egymástól. Ez nemcsak a különböző szakterületek között okoz összehasonlítási nehézséget (neurológia, ortopédia), de néha ugyanazon szakmán belül is (kardiológia - hematológia). Így érthető, hogy hazánkban mind az egyetemi habilitációs eljárás, mind az MTA doktori szabályzata eltérő követelményeket támaszt a különböző szakterületek pályázóival szemben.
Indokolt annak felvetése, hogy a tudománymetriai értékelés szempontjából a nem angol nyelvű közlések hátrányba kerülnek. Ez nemcsak a kis nyelvterületű országok esetében merül fel, de jelentős irodalmi vita tárgyát képezte például a német vagy francia nyelven megjelent publikációk méltánytalan helyzete is. Az angol nyelven történő közlés napjainkban - akár akarjuk, akár nem - előfeltétele annak, hogy eredményeink nemzetközi visszhangra találjanak. Magyar viszonylatban ennek a hátránynak korrekciójára javasolták a Hazai Szakirodalmi Mutató bevezetését és kiegészítő listaként történő felhasználását azokban a pályázatokban, melyekben nem elsősorban a tudományos teljesítmény bemutatásán van a hangsúly (A Magyar Tudományos Akadémia Orvosi Tudományok Osztályának állásfoglalása, 1998).
Rá kell mutatnunk arra is, hogy az impakt faktorok közötti különbség soha nem lehet egyedüli döntő kritérium a pályázatoknál, ám a jelentős különbségek figyelmen kívül hagyása legalábbis indokolást tesz szükségessé.
Az egyének tudománymetriai mérőszámainak meghatározása
A kiindulási alap a pályázó által elkészített és benyújtott publikációs jegyzék. Minthogy a pályázók túlnyomó többsége nincs tisztában azzal, hogy milyen publikációnak van tudománymetriai értéke, legtöbbször minden, nyomtatásban megjelent közlést felsorolnak a jegyzékben, és azokhoz impakt faktort rendelnek minden lehető esetben.
Kétségtelen, hogy nincsenek kötelező és nemzetközileg egységesen elfogadott szabályok, hogy mi minősül tudományos közlésnek, és mi nem. Tetézi ezt, hogy a folyóirat-közlemények maguk is számos típusba sorolhatók, amelyek nem mindegyike érdemel impakt faktort. A vezető angol nyelvű folyóiratok főszerkesztői közös állásfoglalást jelentettek meg erre vonatkozóan, amelyet a világ orvosi folyóiratainak többsége vezető elvnek ismert el.
Több hazai vélemény is megfogalmazódott, és legalábbis az angolul, nemzetközi folyóiratokban megjelent cikkek (full paper) elsőrendű fontosságát illetően nagyjából egyetértés alakult ki. Az orvostudományi folyóirat-közlemények eredetisége és tudománymetriai értékelhetősége tekintetében legilletékesebb magyar testület, a MTA Orvosi Osztálya szabályzatában részletesen ismerteti a követelményeket a doktori pályázók számára. Ezen túlmenően részletekbe menően tisztázzák a pályázat klinikai vagy elméleti szakterületre történő besorolásának feltételeit és a fokozat elnyeréséhez szükséges impakt faktorok és idézetek számszerű követelményeit. A szabályzatban foglaltak értékes elvi útmutatásul szolgálhatnak, de nem téveszthetjük szem elől, hogy az orvosi munka számos területén a különféle, nem elsősorban tudományos feladatok ellátására kiírt pályázatokban sokszor egészen más követelményeknek kell a jelölteknek megfelelniük.
Említettük, hogy a pályázók nagy része csak felületesen ismeri a tudománymetriai számítások szabályait, ezért nagyon fontosnak tartanánk, hogy a publikációs listákhoz az impakt faktor és idézettségi adatokat szakemberek - például az orvostudományi könyvtárak munkatársai - rendeljék hozzá. Ez egyrészt szakmai és fegyelmi felelősséget biztosít a pályázat objektív megítéléséhez elengedhetetlen korrekt adatszolgáltatáshoz, másrészt kizárja a nem egyenlő alapú értékelés lehetőségét. Annak formális megállapítása, hogy melyik közlés értékelhető tudománymetriai szempontból, megfelelő szabályok birtokában nem jelent nehézséget.
A szerzőség kérdése
Ennek megítélése a tudománymetriai értékelés neuralgikus pontja. Aktualitásának több oka van. Az élettudományi kutatás egyre komplexebbé válása, a multidiszciplináris együttműködés szükségessége érthető módon megnövelte a vizsgálatokban szereplők számát. Az ehhez köthető szerzőszám-növekedés világszerte, így nálunk is vitathatatlan tendenciája mellett azonban felmerül a gyanú, hogy a szerzők némelyikének szerepeltetése vitatható, közreműködésük mértéke (ha egyáltalán van mértéke) nem indokolja szerzői státusukat.
Sokatmondó Kovács Ildikó és munkatársai (2000) észrevétele: az Orvosi Hetilap cikkeiben 1967-1997 közt az egyetemi szféra esetében 16-ról 60 %-ra nőtt a négy- vagy többszerzős cikkek részaránya, míg a kórházi szféra esetében ez az arány 7-ről mindössze 30 %-ra emelkedett. Ahol tehát potenciálisan sok szerző lehet, ott sok is lesz.
A nemzetközi szaksajtóban vita indult a kérdés tisztázására, melyben ugyancsak a vezető orvosi lapok szerkesztőinek bizottsága fogadott el egy, a szerzőség kritériumául ajánlott követelményrendszert. Ezek a normák hazai közleményekben is megjelentek (Fazekas - Varró, 2001) és kedvező visszhangra találtak. A probléma abban van, hogy a szerzőség ismérveinek teljesülését illetően lehetőség nyílik nagyon liberális, szubjektív, sőt néha valótlan értelmezésre is. Ebben a publikációs lista érvényességét igazoló könyvtárosok sem tudnak segítséget nyújtani, mert nem kompetensek annak felülvizsgálatára, hogy a szerzők közül ki milyen munkát végzett.
A szerzőség kérdésének nehézségeit nemzetközi szinten nem sikerült rendezni, bár egyre nő azoknak a vezető folyóiratoknak a száma (például The Lancet), melyekben a szerzőktől nyilatkozatot kérnek, egyértelműen közöljék, mi volt a szerepük a vizsgálatban, illetve a közleményben. Úgy gondoljuk, hogy az indokolatlan szerzőszaporítást csak egy módon lehet gátak közé szorítani: ha magukat a szerzőket tesszük érdekeltté abban, hogy csak azokat tüntessék fel szerzőknek, akiknek a vizsgálatban és a közlemény megszületésében lényeges szerepük volt.
Javasoljuk, hogy a szerzők csak a szerzőszám arányában kapják meg az impakt faktor és az idézettség reájuk eső részét. Minthogy külső beavatkozással reménytelen gátat vetni az ún. vendégszerzők (guest authors) szerepeltetésének, a valós szerzőkre kell bízni, hogy saját impaktfaktor-értékük terhére tesznek-e kivételt valakivel. Felmerülhet a kérdés, hogy az első és esetleg az utolsó szerző kapjon-e kitüntetett helyet.
Külön kell állást foglalnunk a multicentrikus klinikai tanulmányok ügyében, melyekben igen nagyszámú intézet, illetve adatszolgáltató neve szerepelhet. Szerintünk ezekben csak a tanulmány megszervezését, az adatok összegezését és a következtetések levonását végző központ azon munkatársai tekinthetők szerzőknek, akiket a közlemény címadataiban feltüntetnek. A többieket megilleti a hozzájárulói (contributor) cím; ezt a tevékenységüket pályázataikban feltüntethetik.
A szemlecikkekben nincs ugyan új tudományos eredmény, szerzőik azonban - különösen a nagy idézettségű folyóiratokban és szemlefolyóiratokban - felkérésre dolgoznak. A felkérés feltétele a kiemelkedő publikációs aktivitás. Talán senki sem vitatja, hogy az ilyen tudósok esetében a szemlefolyóirat esetenként jelentékeny impakt faktorának beszámítása nem jelent érdemtelen kivételezést.
A tudománymetriai értékelés használatának gyakorlata; érvek és ellenérvek
Annak ellenére, hogy az impakt faktor amerikai "találmány", az USA-ban jóval kevésbé általános a használata, mint Európában. Az élettudomány egyes részterületein dolgozó szakemberek nagy száma miatt ott sokkal kevésbé érvényesül a szubjektív megítélés és a baráti kapcsolat, vagy éppen a rivalizálás torzító ereje, mint egy kisebb ország kutatói társadalmában.
Európában különböző mértékben veszik igénybe a tudománymetriai értékelést a kutatástámogatás mérlegelésében és az egyetemi kinevezéseknél. Németországban az Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften (AWMF) javaslata mind az egyéni kutatási támogatások, mind a kinevezések és habilitációk értékelésére alkalmatlannak tartja az impakt faktort.
Mi ezt a korántsem egyedülálló, bár érdemben alátámasztatlan véleményt elutasítjuk: az impakt faktor nyilvánvalóan alkalmas egyének értékelésére, legalább annyira, mint a szakértői bírálat vagy az idézettség. Természetesen szakszerű értékelésre gondolunk.
Magyarországon az egyetemi tanári kinevezésekre, habilitációra, PhD-fokozatra kiírt pályázatokban, illetve az akadémiai doktori minősítés elnyeréséhez többnyire megkívánnak egy impaktfaktor-minimumot, de a küszöb feletti teljesítmény mértékének kevés hatása van a döntésre.
Bármely kis országban nehéz helyzetben vannak a pályázatokat minősítő szakreferensek és bizottságok. A bírálók (bizottsági tagok) nevének titkosítása megvalósíthatatlan, hisz az országon belül olyan kicsi a merítési bázis, hogy legtöbbször már a bírálat szövege alapján egyértelmű, hogy ki lehetett a referens. Az azonos szakterületen dolgozók között pedig vagy baráti, vagy vetélytársi a kapcsolat; mindkettőnek torzító hatása van. Ez magyarázza, hogy a problémás esetekben többen elhárítják a bírálói megbízatást, illetve gyakori a formális, rendszerint pozitív vélemény.
A tudománymetriai értékelés számszerűsége segítséget nyújt abban, hogy a bírálók objektív mércére támaszkodhassanak. Ebből a szempontból is nagy fontossága van a publikációs lista korábban már említett szakszerű és pontos minősítésének, valamint a szerzőarányos részesedéseknek. Ily módon lehet az impakt faktor az objektív döntéshozatal egyik alapeleme.
A magyar kutatóhelyek tudománymetriai értékelésének specialitásai
Mielőtt a kutatóhelyek tudományos működésének megítélésére rátérnénk, először is azt a kérdést kell tisztáznunk, milyen célokat szolgálhat egy ilyen megméretés. Valószínűleg annak a megállapítása a legfontosabb, hogy egy adott kutatóhely (intézet, egyetem, kar, tanszék) milyen részt vállal az adott tudományterületeken az ország, egyetem, kar nemzetközileg is megítélhető publikációs tevékenységéből. Ezenkívül azt is segítheti, hogy viszonylag objektíven megítélhessük, hogy valamely kutatóhely tudományos tevékenysége egy hosszabb időszak alatt felfelé ívelő vagy visszaeső tendenciát mutat.
Az orvostudomány új elméleti és klinikai eredményeit, mint arról már szó esett, elsősorban angol nyelvű nemzetközi folyóiratokban, teljes szövegű (full paper) közleményekben kell leírni ahhoz, hogy a tudományos közösség - amely ma már nem ismer határokat - számára hozzáférhető legyen. Mivel az orvostudomány nemzetközileg használt nyelve az angol; a magyar, de akár a német vagy francia nyelven írt munkák is inkább szakmai továbbképzési, mint tudományos célokat szolgálnak, hiszen a német és francia nyelvterületek kutatói is angol nyelvű folyóiratokban jelentetik meg fontosnak tartott munkáikat.
A nemzetközi tudományos folyóiratok tekintélyének egyik legfontosabb ismérve minden korlátja ellenére az impakt faktor. Nem véletlen, hogy az MTA Orvosi Tudományok Osztálya is használja a tudományok doktora fokozat odaítélésekor. Az impakt faktor, amelynek eredetét és értelmezését már az előzőekben ismertettük, egy kicsit olyan, mint Winston Churchill szavaival a demokrácia: a demokrácia a kormányzat legrosszabb formája, ha leszámítjuk az összes többit.
Az impakt faktor használata a kutatóhelyek esetében fokozott körültekintést igényel, és több ponton is eltér az egyéni kutatói teljesítmény megítélésére használt gyakorlattól. Ha azonban a specialitásokat figyelembe vesszük, akkor megbízhatóbban lehet használni a tudományos teljesítmény mérésére, mint az egyéni kutatók esetében.
A legfontosabb szempontok:
1. A kooperációban készült közlemények impakt faktorait a kooperáló intézetek között szerzőarányosan meg kell osztani. Ha pl. egy négyszerzős cikkben A intézetből egy, B intézetből három szerző szerepel, akkor A intézet az impakt faktor 25 %-át, B a 75 %-át kapja meg. Ez különösen fontos az objektív megítélés szempontjából, hiszen nyilvánvaló, hogy egy több intézetre kiterjedő együttműködésben egy intézetre kevesebb feladat, illetve munka jut, mintha az egész munka egyetlen tanszéken folyt volna. Másrészről, ha egy karon belül egy tanszék tudományos munkáját a kar összteljesítményének százalékában kívánjuk meghatározni, akkor a több tanszékre kiterjedő kooperációban végzett munkának csak az egyes tanszékekre eső hányadaival szabad számolnunk, különben az adott közlemény impakt faktora annyiszor jelenne meg a kari összteljesítményben, ahány közreműködő tanszék szerepel az adott dolgozatban. Kooperációs közleménynek csak az fogadható el, amelyben az adott tanszék is fel van tüntetve a címadatokban. Ha a tanszék nincs feltüntetve, mint ahogyan az ösztöndíjas kutatások során ez általános, akkor ezt a munkát a tanszéki teljesítmény megítélésekor nem szabad figyelembe venni. (Az egyéni kutatói teljesítménybe ezek a közlemények is beszámítanak.) Intézeti szinten is fontosnak tartjuk az impakt faktor szerzőarányos megosztását azért is, mert ellene hat a "publikációs kartellnek", hogy tudniillik a különböző intézetek munkatársai a látszólagos tudományos teljesítmény növelése érdekében viszonossági alapon egymást szerepeltessék.
2. Mivel az intézetek tudományos teljesítményét állandóan változó kutatói gárda hozza létre, és mivel az összehasonlítás csak azonos időszakok közt reális, az évtizedeket átölelő periódusok helyett célszerű rövidebb időintervallumokat vizsgálni. Az éves szintű kiértékelés túlságosan rövid, hiszen egy-egy tudományos munka elvégzése és sikeres publikálása hosszabb időt is igénybe vehet, emiatt egy-egy intézet esetében az egyéves teljesítményekben nagy ingadozás lehet. Reálisabbnak tűnik a 3-5 éves periódus.
3. Megfontolandó felvetés, hogy a szemlecikkeket vonják ki az intézeti (nem az egyéni!) értékelésből. A review közlemény, még ha tartalmaz is új ötleteket, új tudományos eredményt nem képvisel, és mivel néha igen magas impakt faktorú szemlefolyóiratban jelenik meg, torzítja a kutatóhelyek tényleges tudományos eredményességének mérését.
4. Elképzelhető, hogy az impakt faktorral nem rendelkező magyar és nem magyar folyóiratcikkeket egy minimális értékkel figyelembe vegyék. Ez elsősorban a klinikai szakmában jelentene segítséget, ahol a sajátos magyar viszonyok megnehezítik a nemzetközi publikációs tevékenységet.
5. Sok vitára ad okot, hogy az orvostudományok különböző területeit reprezentáló folyóiratok impaktfaktor-átlagai eltérők lehetnek. Erre a problémára az intézetek értékelésekor különösen nehéz jó megoldást találni. Ha ugyanis a medián vagy az átlagos impaktfaktor-értékek szerinti szorzókat iktatnánk be, akkor a rendszer túl bonyolulttá válna. Nehezen lehetne például tárgyilagosan megítélni egy elméleti intézeti kooperációban végzett munka besorolását. Figyelembe kellene venni, hogy egy kis klinikai szakmában is lehetőség nyílhat multidiszciplináris jellegű kutatásokra, akár az adott klinika falai között is. E problémák kezeléséhez a közlemények egyedi átvizsgálására lenne szükség, ami nagyobb zavarokat okozhatna, mint az idézési esélykülönbségek figyelmen kívül hagyása. Egyébként kívánatos is lenne, hogy a klinikai szakmák kutatásai az elméleti intézetekkel való kooperáció felé terelődjenek.
Az előadott szempontok szerint a kutatóhelyek tudományos teljesítményének megítélése a jelenleginél sokkal objektívebbé válna, az eredményeket a kutatásfinanszírozásánál is figyelembe lehetne venni.
Kulcsszavak: tudománymetria, tudományos teljesítmény értékelése, bibliometria, impakt faktor, scientometria
IRODALOM
Az MTA Orvosi Tudományok Osztályának állásfoglalása a hazai orvosi szakirodalmi tevékenység elismerését szolgáló mutató bevezetéséről (1978): Népjóléti Közlöny. 12, 2078-2081
Adam, David (2002): Citation Analysis: The Counting House. Nature. 415, 726-729
AWMF-Vorschlag zur Verwendung des "Impact Factor" (Empfehlungen, verabschiedet von der AWMF-Delegiertenkonferenz im Mai 2000). http://www.uni-duesseldorf.de/AWMF/bimet/impa-emp.htm
Callaham, Michael - Wears, Robert L. - Weber, Ellen (2002): Journal Prestige, Publication Bias, and Other Cherecteristics Asociated with Citation of Published Studies in Peer-Reviewed Journals. The Journal of the American Medical Association. 287, 2847-2850
Fazekas Tamás - Varró Vince (2001): A scientometria és a hazai szakirodalmi tevékenység. Etikai és technikai kérdések. Orvosi Hetilap. 142, 2493-2499
Jimenez-Contreras, Evaristo - Lopez-Cozar, E. D. - Ruiz-Perez, R. - Fernandez, V. M. (2002): Impact-factor Rewards Affect Spanish Research. Nature. 415, 730
Kaltenborn, Karl-Franz - Kuhn, Klaus (2003): Der Impact-Faktor als Parameter zur Evaluation von Forscherinnen/Forschern und Forschung. Medizinische Klinik. 98, 53-69
Kovács Ildikó - Domokos M. - Klatka M. - Varró V. (2000): A hazai orvosi közlemények néhány szerzői jellegzetességének változása 1967 és 1997 között. Orvosi Hetilap. 141, 1133-1137
Lawrence, Peter A. (2003): The Politics of Publication. Nature. 422, 259-261
Lomnicki, Adam (2003): Impact Factors Reward and Promote Excellence. Nature. 424, 487
MacRoberts, Michael H. - MacRoberts, Barbara R. (1996): Problems of Citation Analysis. Scientometrics. 36, 435-444
Martin, Ben R. (1996): The Use of Multiple Indicators in the Assessment of Basic Research. Scientometrics. 36, 445-472
Marton János (1978): Magyar publikációk külföldi folyóiratokban. Bibliometriai vizsgálatok az élettudományok területén. Magyar Tudomány. 23, 922-26
Marton János - Hulesch Helga (2000): Külföldi folyóiratcikkek a tudományos tevékenység értékelésében. Orvosi Hetilap. 141, 2659-65
Opthof, Tobias - Coronel, Ruben - Janse, Michiel J. (2002): Submissions, Impact Factor, Reviewer Recommendations and Geographical Bias within the Peer Review System (1997-2002): Focus on Germany. Cardiovascular Research. 55, 215-19
Saha, Somnath - Saint, Sanjay - Christakis, Dimitri A. (2003): Impact Factor: A Valid Measure of Journal Quality? Journal of the Medical Library Association 91, 42-46
Seglen, Per O. 1992): The Skewness of Science. Journal of the American Society for Information Science. 43, 628-38
Seglen, Per O. (1997): Why the Impact Factor of Journals Should Not Be Used for Evaluating Research. British Medical Journal. 31, 498-502
Vinkler Péter (2003): A Garfield-tényező. Magyar Tudomány. 49, 1604-1610
Wennerĺs, Christine - Wold, Agnes (1997): Nepotism and Sexism in Peer Review. Nature. 387, 341-43
Zallár Ildikó - Hulesch H. - Hajagos M. - Samu K. - Marton J. (1997): A tudományos középmezőny tíz országának publikációs aktivitása az élettudományok vezetô külföldi folyóirataiban. Orvosi Hetilap. 138, 2855-61