A tudománymetria (scientometria) művelésének hazánkban több évtizedes hagyományai vannak. A szakterület Scientometrics című nemzetközi folyóiratát nálunk adják ki, továbbá létrehozója és főszerkesztője, Braun Tibor, kutatócsoportjával a Magyar Tudományos Akadémián a témáról számos cikket publikált, valamint egy egész könyvsorozat kiadását gondozta. A tudományos teljesítmény értékelésének igénye is régen felmerült már, azonban az is világos volt, hogy ez a feladat korántsem egyszerű. Pungor Ernő akadémikus egy tudománymetriai kérdésekkel foglalkozó kötet előszavában 1992-ben a következőket fogalmazta meg (Braun et al., 1992): "A tudomány a legmagasabb szintű emberi tevékenység. Amíg a tudomány művelése kevesek dolga volt, addig el lehetett fogadni Eötvös Lorándnak azt a véleményét, hogy csak az menjen kutatónak, akinek megvan hozzá a gazdasági alapja is. A tudomány azonban időközben az emberiség közkincsévé vált, amelyre naponta újabb és újabb emberi tevékenységek épülnek. Az új műszaki eredmények egyre nagyobb mértékben támaszkodnak a természettudományra. A kutatás mind szélesebb csoportok tevékenységét igényli. Az eötvösi intelemmel szemben napjainkra a tudományos munka megélhetési forrássá vált...
A tudományban a minőség elbírálása borzasztóan nehéz. Új gondolatok megjelenése sokakban ellenállást szül, és a tudomány történetében több olyan eset található, midőn a kortársak minősítésével szemben évek vagy évtizedek múlva a lebecsült tudományos irányzat jelentősége megnőtt...
Vitán felül áll, hogy a nemzetközileg elismert lapokban való közlés, valamint a megjelent publikációk idézettsége már önmagában is ad minőségi jelzést. Az idézettségi számok azonban nagyon óvatosan kezelendők. Mint minden emberi tevékenységnél, hamar ki tudtak alakulni lobbyk, melyek szükségtelenül is növelik az idézetek számát. Ennek ellenére mégis jelentős figyelmeztetés a kutatónak, ha munkájára nincs számottevő nemzetközi visszajelzés."
Az egyéni tudományos teljesítmény értékelése iránti igény díjak, tudományos fokozatok odaítélése, bizonyos állások betöltése okán merül fel, azonban fontos felismerni, hogy minden további értékelési tevékenység (téma-, csoport-, intézetértékelés) bizonyos értelemben az egyén kutatási eredményeinek értékelésén alapul.
Az egyéni teljesítmény értékelése alapelveivel egy elnöki bizottság foglalkozott, amely ajánlásokat tett az értékelés szempontjaira vonatkozóan (Bencze et al.,1996). Az akadémiai kutatóintézetek 1992-1995. évi felmérésével kapcsolatban az értékelés alapelveit az AKT egy különbizottsága dolgozta ki (Bencze et al.,1997), és szintén megfogalmazta ajánlásait, amelyeket az AKT 1996 decemberében egyhangúlag elfogadott.
A statisztikai megfontolásokon alapuló tudománymetriai mutatók használata az értékelés folyamatban természetszerűleg vitákat váltott ki a szakmai közvéleményben, a különféle értékelési módoknak voltak hívei, de sok esetben heves ellenzői is. Ezeknek a vitáknak is a Magyar Tudomány adott helyt lapjain (lásd Papp, 2004a; Braun, 2004; Papp, 2004b; Bencze, 2004; Marton, 2004; Vinkler, 2004).
A viták folyományaként egyetértés alakult ki abban, hogy a tudományos teljesítmény mennyiségi mutatója a tudományos folyóiratokban megjelent publikációk száma, amely a kutató "termelékenységét" méri. Publikációk hiányában triviális módon a teljesítmény nem értékelhető, legyen az egyén mégoly zseniális is. Az egyes publikációk által kapott szakirodalmi idézetek száma a publikáció által kiváltott hatás mértéke, vagyis a minőség egyfajta mérőszáma. A részletes elemzésnek természetesen mind a mennyiségi, mind a minőségi mutatók vizsgálatára ki kell terjednie, vagyis általában egyetlen tudománymetriai mutatóval nem jellemezhető kielégítően a tudományos teljesítmény. Braun Tibor professzor szerint mélyreható vizsgálatoknál az idézetek kontextusanalízisét is el kell végezni, azaz minden idézetnél külön vizsgálni kell, hogy annak tartalma pozitív vagy negatív értékítéletet hordoz-e. Ezt a viszonylag békés állapotot zavarta meg 2005. augusztus 10-én Jorge Hirsch amerikai fizikus, az University of California, San Diego kutatója, aki egyetlen numerikus mutató, az ún. h-index használatát javasolta az egyén tudományos teljesítményének mérésére egy közleményben, amelyet egy internetes publikációs adatbázisban tett közzé (Hirsch, 2005). A cikk azonnal nagy figyelmet keltett, és szinte napokon belül reagáltak rá a tudományos közvélemény egyes képviselői (Dumé, 2005; Editorial (Nature), 2005; Ball, 2005; Editorial (Science), 2005).
A h-index az egyén olyan publikációinak h-száma, amelyek legalább h-számú idézetet kaptak a szakirodalomban. Az összes többi publikációja értelemszerűen h-nál kevesebb idézetet kapott. Hirsch szerint ez az egyszerű szám minden más mutatónál alkalmasabb a tudományos teljesítmény jellemzésére. Érvei szerint az eddig használt mutatók közül a publikációk száma mennyiségi mutató, az egy cikkre eső idézetek átlagos száma az alacsony termelékenységet részesíti előnyben, és körülményes meghatározni. Úgyszintén a jelentős cikkek száma, amelyek bizonyos küszöbértéknél több idézetet kapnak, több információt tartalmaznak, ám a küszöb megválasztása önkényes, és ez az eredményt nagyban befolyásolja.
A h-index segítségével akkor is összehasonlítható két kutató teljesítménye, ha publikációik száma lényegesen különbözik, s akkor is megmutatkozik a teljesítmények különbözősége, ha az egyének nagyjából azonos számú publikációval és idézettséggel rendelkeznek. Ám az egyes tudományterületek különböző publikációs és hivatkozási gyakorlata miatt a h-index értéke egyes tudományterületeken lényegesen különböző lehet.
Hirsch empirikus vizsgálatai szerint egy kutató összes idézeteinek száma és h- indexe között kvadratikus összefüggés áll fenn:
Nc,tot = a h2,
ahol az a empirikus állandó értéke általában 3 és 5 között van.
A h-index igen gyorsan meghatározható, és előnyös tulajdonságai miatt igen könnyen kezelhető. A szerző a fizikán belül számításokat végzett, és a következő rangsort találta a h-index alapján a legeredményesebb fizikusok között:
1. Ed Witten, Institute of Advanced Study, Princeton, húrelmélet h = 110
2. Marvin Cohen, University of California, Berkeley, elméleti kondenzált anyag fizika h= 94
3. Philip Anderson, Princeton University, elméleti kondenzált anyag fizika h= 91, Nobel-díj, 1977
4. Steven Weinberg, University of Texas, Austin, elméleti részecskefizika, h=88, Nobel-díj, 1979
5. Manuel Cardona, Max-Planck-Institut, félvezető kutatás h= 86
6. Frank Wilczek, MIT, elméleti részecskefizika, h=68, Nobel-díj, 2004
7. David Gross, Kavli Institute for Theoretical Physics, Santa Barbara, h=66 Nobel-díj, 2004
8. Stephen W. Hawking, Cambridge, elméleti fizika h=62
A statisztika alapján Hirsch szerint (a fizikában) 20 körüli értékkel húszéves szakmai múlttal az egyén sikeres kutató, 40-es index kiemelkedő kutatónak felel meg, míg 60-as index valóban egyedülálló kvalitást jelez. Az egyetemi beosztásokat tekintve h=12 körül lehet valaki docens, professzori kinevezéshez h=18 körüli érték ajánlott.
Az index erősen függ a szakterülettől, pl. a biológia és az orvostudomány területén a legjobbaknál a h-értéke több mint kétszerese a fizikusokénak (Solomon H. Snyder [191] David Baltimore [160], Robert C. Gallo [154]).
Hirsch a következőképpen foglalja össze javaslatát: "Összegezve, egy olyan könnyen kiszámítható h-indexet javasoltam, amely megbecsüli a tudósok kumulatív kutatási eredményeinek fontosságát, jelentőségét, valamint szélesebb körben kiváltott hatását. Úgy vélem, hogy ez az index hasznos lehet különböző egyének objektív, részrehajlásmentes összehasonlításában olyan esetekben, amikor az értékelés fontos kritériuma a tudományos eredmény."
Nos, a vélemények feltehetően most is meg fognak oszlani a h-index alkalmazhatóságának megítélésében. A SLAC (Stanford Linear Accelerator Center) könyvtárosai máris kiszámították Feynman h-indexét az elérhető adatok alapján, és az 23-nak adódott ötvenkét cikk alapján, amelyekre az összes idézet száma 7440. Ez az eredmény mindenképpen elgondolkodtató, hiszen Richard Feynman vitathatatlanul a modern fizika egyik kimagasló egyénisége, és Nobel-díjas is volt.
Mit lehet még megállapítani a h-index alapvető tulajdonságairól? Az index értéke definíciójából következően nem haladhatja meg a publikációk összes számát. Ha tehát valakinek ötven publikációja van, h értéke akkor sem haladhatja meg ezt az értéket, ha minden egyes cikkét akár ezerszer idézik. Vagyis a keveset publikáló, nagy idézettségű kutatók az értékelésnél háttérbe szorulnak, de ugyanez vonatkozik a fiatal kutatókra is, azok eredményességétől és publikációs tevékenységük impaktjától függetlenül.
Tekintsünk még egy extrém esetet - ha úgy tetszik, végezzünk egy gondolatkísérletet -, amely egyben illusztrálja az értékelés néhány, máig megoldatlan nehézségét is. A modern kísérleti részecskefizikai kutatásokban gyakori a több száz szerzős cikk, mivel a mérésekben rengetegféle szakember részvételére van szükség. Tegyük fel, hogy a témavezető fizikus mellett a kísérletekben nélkülözhetetlen szerepet tölt be egy-egy gyorsító-mérnök vagy számítógépes szakember. A mai gyakorlat szerint ezek a témavezetővel együtt szerepelnek szerzőként az eredményekről beszámoló publikációkban. Vagyis fennáll annak a lehetősége, hogy ezeknek a szakembereknek az eredményességét jellemző h-indexe hajszálra megegyezik a témavezető fizikuséval. Az eddigi nagy felfedezéseknél mégis mindig a fizikus szokott Nobel-díjat kapni. Következésképpen az értékelésnél további, nem szükségképpen kvantifikálható kritériumok bevezetésére volt (van) szükség. Hasonló lehet a helyzet a modern genetikai kutatásoknál, ahol szintén nagy létszámú kutatócsoportok dolgoznak együtt.
A h-index bevezetése kétségtelenül érdekes és fontos fejlemény, alkalmazása azonban további vizsgálatokat tesz szükségessé. Talán nem elhamarkodott azt a véleményt megkockáztatni, hogy az egyén tudományos teljesítményének megbízható értékeléséhez az igen kompakt h-index mellett feltehetően továbbra is szükség lesz a peer review nem kvantifikálható intézményére.
Kulcsszavak: tudománymetria, idézettség vizsgálata, impakt, h-index
Irodalom
Braun Tibor - Glänzel, W. - Schubert A. (1992): Országok, szakterületek, folyóiratok tudománymetriai mutatószámai 1981-1985. MTAK, Budapest
Bencze Gyula - Berényi D. - Tolnai M. (1996): Az egyéni tudományos teljesítmény értékelésének általános szempontjai. Magyar Tudomány. 7, 862-869
Bencze Gyula - Fazekas Károly - Makara Gábor (1997): Az akadémiai kutatóintézetek 1992-1995. évi felmérése: az értékelés alapelvei. Magyar Tudomány. 3, 323-328.
Papp Zoltán (2004a): A tudományos teljesítmény mérésének problémáiról. Magyar Tudomány. 2, 232-40
Braun Tibor (2004): Néhány szerény észrevétel Papp Zoltán írásához. Magyar Tudomány. 4, 530.
Papp Zoltán (2004b): Válasz Braun Tibornak. Magyar Tudomány. 4, 532.
Bencze Gyula (2004): Mit mérjünk és hogyan? Magyar Tudomány. 6, 787.
Marton János (2004): A tudomány és a metria. Magyar Tudomány. 6, 788.
Vinkler Péter (2004): Adalékok a tudománymetria néhány kérdésének megértéséhez. Magyar Tudomány. 6, 789.
Hirsch, Jorge E. (2005): An Index to Quantify an Individual's Scientific Output. arXiv:physics/0508025 v2 http://arxiv.org/PS_cache/physics/pdf/0508/0508025v2.pdf
Dumé, Belle (2005): Number Theory. Physicsweb. 16. 08. 2005.
Editorial (2005): Ratings Games. Nature. 436, 18. 08. 2005., 889-890.
Ball, Philip (2005): Index Aims for Fair Ranking of Scientists. News. Nature. 436, 18. 08. 2005., 900.
Editorial (Sc.) Data Point. Science. 309, 19. 08. 2005., 1181. DOI: 10.1126/science.309.5738.1181c