Bevezető megjegyzések

Ez a cikk összefoglalja, hogy elképzelésünk szerint távlatilag hogyan lehetne majd a Magyar Tudományos Művek Tára (MTMT) által tartalmazott adatokat az egyéni vagy intézményi tudományos teljesítmény értékelésére felhasználni. Nem a tudománymetriában szeretnénk újat mondani, ez nem a mi szakterületünk, inkább a szakirodalomra utalunk (lásd irodalomjegyzék), itt mindössze áttekintjük a különböző tudományterületek kutatói számára, hogy az adatbázis milyen jellegű számokat képes szolgáltatni. Sietünk leszögezni azt is, hogy ezek a számok csak az értékelést előkészítő „nyers” adatok: összehasonlításra, értékelésre önmagukban nem alkalmasak. Az értékelő szakértők dolga, hogy egyéni szempontokat figyelembe véve gondosan elemezzék a számok jelentését, és a teljes szövegű publikációkat is felhasználva értékeljenek. A számítógép mindössze segíthet abban, hogy az adatokat ne kelljen kézzel, megbízhatatlan és fáradságos módon számolgatni, vagy összegezni. Az adatbázis pedig segít a duplumokat észrevenni, az adatokat kívánság szerint átrendezni, és a hiányzó bibliográfiai adatokat pótolni. Kinek fontos ez? Elsősorban maguknak a szerzőknek, de tájékoztatást ad a tudományos közvélemény számára is, és nagy segítséget nyújt a szerzőt minősítő bírálók, előterjesztők és bizottságok részére. Az ő kezük alá kell dolgozni a táblázatokkal. Ugyanakkor az igények egy része közös, ezeket érdemes közös programmal kielégíteni.

Tudománymetriai táblázat az MTMT-ben

A magyar tudósok bibliográfiai adatbázisában (Magyar Tudományos Művek Tára) ma már a listával rendelkező szerzők mindegyikéről megjelenik a „Tudománymetriai táblázat” is, amely a szerző tudományos teljesítményének összefoglaló adatait tartalmazza. Ez a táblázat több részből áll, és a szerző teljes tudományos életművét feldolgozza. Tudományterületenként, akadémiai osztályonként eltérő lehet. Például a műszaki tudományokra vonatkozóan a táblázat kezdőlapját az 1. ábra mutatja. Itt áttekinthető formában látjuk a különböző darabszámokat, sőt a számokra rákattintva az ezekhez tartozó részlistákat is meg lehet jeleníteni.

Az ilyen tudománymetriai táblázatokat sok vita és félreértés övezi, elsősorban azért, mert az egyes szakterületek szempontjai eltérőek. Filozófiában például a monográfiák fontosak, a konferenciacikkek kevésbé. A műszaki területen fontos a konferenciacikk és a folyóiratcikk is, az idézetekben pedig szeretnék látni, mennyi származik csak külföldi szerzőktől. A fizikában, orvostudományban, kémiában elsősorban az impakt faktoros folyóiratcikkek és a Hirsch-index számítanak. Matematikusok számára fontos, hogy cikkeik és idézeteik megjelennek-e a Mathematical Reviewsban. Bölcsészek számára az összegzett impakt faktor egyáltalán nem fontos, biológusoknál annál inkább. Lehetetlen tehát egyetlen uniformizált táblázatot létrehozni, amelynek részletei minden szakterület számára testreszabottak lennének.¹ Hát még ha az MTA osztályokon belüli különbségeket is tudomásul vesszük! Ezeket a szempontokat előre nem is mindig lehet pontosan megmondani: vannak olyanok, melyeket jelenleg egy-egy osztály nem is használ, de ha készen megkapnák az adatokat, elképzelhető, hogy örömmel felhasználnák.

Szükségesek-e egyáltalán a tudományos teljesítmény statisztikai táblázatai?

Az első kérdés, amelyet meg kell fontolnunk: egyáltalán miért van szükség a táblázatra? Korábban is léteztek beadott publikációs és idézőlisták, a PhD-fokozatot és az akadémiai doktori címet vagy az akadémiai tagságot eddig is megkapták az arra érdemes jelöltek. Megéri-e sok energiát fordítani ilyesmire? A válasz egyértelmű: igen, megéri, mert ez az érdemesség megállapítását pontosabbá és objektívebbé teszi. Ugyanakkor a „milyen” kérdésre adott válasz többrétű, ugyanis más a jelöltek nézőpontja és más az előterjesztőké, szakbizottságoké, doktori tanácsoké. Minél távolabb áll az értékelő személy vagy testület a jelölt szakterületétől, döntéséhez annál inkább szüksége van az egyes szakterületek sajátosságait is tükröző táblázatokra.

A jelöltek a táblázatok segítségével könnyen át tudják tekinteni, hogyan állnak, sőt magukat a már címet/fokozatot elértekhez tudják hasonlítani, továbbá megállapíthatják, hogy esetleg milyen formában érdemes a jövőben publikálniuk. Még fontosabb, hogy az áttekintésekkel a jelölt nagy segítséget kap abban, hogy helyesen vannak-e megadva az adatai. Ennek segítségével könnyű és gyors a hibák felfedezése és javítása.

Az előterjesztők/értékelők megadott szempontok szerint kell, hogy értékeljék a jelölt habitusát. A hosszú listák áttekintése, a kézi számolgatás fáradságos, nagy figyelmet igényel, és néha kicsit szubjektív is. Egyszerűbb, ha elég ellenőrizni, hogy a jelölt besorolásai helyesek-e, és kikeresni a szükséges összegző számokat a táblázatból. Ráadásul a megjelenő számok a jelölt sajátosságait, egyéni erősségeit/gyengeségeit is kiemelhetik. A táblázat segít a tájékozódásban. Az összehasonlítás a jelölthöz szakterületben közel álló kutatók táblázataival pedig segíti a valós értékelést. Végül a publikációk teljes szövegének egyszerű megnézhetősége az érdemi értékelés egyik alapja.

A bizottságok/doktori tanácsok jelenleg még általában csak az előterjesztők anyagára és megállapításaira támaszkodnak. A jövőben arra kell törekedni, hogy a számokat táblázatosan is lássák: ennek segítségével és a részletesebb listák, teljes cikkek gyors megtekintésével valamint az előterjesztői javaslatot közvetlenül alátámasztó számok összevetésével még körültekintőbben készülhetnének a döntésre.

A következőkben az MTMT-táblázat jelenlegi és további lehetőségeit elemezzük.

A közlemények statisztikai adatai

A közlemények a szakterületi felhasználók tipikus igényei szerint vannak csoportosítva. Például a konferenciacikkek kiadótól függően megjelenhetnek konferenciakiadványban, folyóiratban vagy szerkesztett könyvben. Ezek szakterülettől függő tudományos értéke hasonló, és a részletes táblázatokban igény szerint együtt is és külön-külön is megjelenhetnek a fenti kategóriák valamelyikében. Ebből rögtön lehet látni a szakmai szokásokat és az egyének fontos szempontjait is. A szakterület illetékes bizottsága megadhatja a fontos folyóiratok listáját, és az ezekben megjelenő cikkek száma is megjelenhet a táblázatban. Az impaktfaktor bizonyos területeken fontos, ott meg is jelenik a táblázatban.

Teljes adattal megadott tudományos közlemények részletes számai (összes közlemény / előző fokozat évében vagy később)

A 2. ábra táblázata a legtöbb osztály érdekeltségének megfelel. Szürkítéssel jelöltük a mindenki számára fontos adatokat, és beljebb kezdtük a megelőző tételek részadatait, melyeket nem kell külön összeadni. Jól látszik, hogy az egyes adatok ki- és bekapcsolhatóvá tételével az összes igényt ki tudjuk elégíteni.

Külön meg van adva a láttamozott közlemények száma. Ez azt jelenti, hogy ezeket a KSZI munkatársai (illetve később majd az intézményi adminisztrátorok) formális (konzisztencia, teljes adatok) szempontból végignézték, a besorolásokat ellenőrizték, és a tételeket láttamozták. Enélkül a kézzel felvitt adatokat egyáltalán nem tekinthetjük megbízhatónak, de ez csak az első lépés. Az lesz az igazi, ha a hitelesítés (vagyis az összevetés eredeti kiadványokkal vagy megbízható adatbázisokkal) is megtörténik majd: ezután lesznek az adatok igazán megbízhatók.

Szerepel a weben megjelenő teljes szövegű közlemények száma, és a megadott DOI-k (Digital Object Identifier) száma is. Azt gondolnánk, hogy ez utóbbi elegendő, de ez tévedés: a DOI-n kereszül elérhető teljes szöveg sokszor előfizetéshez kötött, vagyis a weben keresgélő kollégák egy része nem éri el.

Az idézetek statisztikai adatai

Az idézetek legfontosabb három alapadata: mely közleményre, ki, és milyen közleményben hivatkozott. Ezen kívül több szempont is felmerülhet, ezeket (ha az adatbázis tartalmazza az oda tartozó adatokat) a táblázat meg tudja mutatni. A hivatkozók hazai / külföldi volta például nem egyszerű kérdés (az internetes adatbázisok ezt az információt nem tartalmazzák), ezért az MTMT csak akkor jelenteti meg, ha az osztály kéri, és a jelöltek ki is töltötték. A hivatkozás helye (külföldi kiadás) viszont a megadott adatokból kiderül.

A 3. ábra idézettségi táblázata a legtöbb szakterület igényeit kielégíti. A szürkített sorok a legfontosabb adatokat tartalmazzák, a többi ki/bekapcsolható lehet.

Az idézetek összegző adataiban egyébként további „normalizáló” lehetőségek is rejtőznek, melyeket számítógépes program képes csak kiértékelni. Elképzelhető például, hogy az idézeteket nem darab-darab alapon vesszük figyelembe, mint most, hanem az idéző cikkeket egyenként egységnyi súlyúnak képzeljük, és ezt a súlyt a hivatkozott irodalmi tételek darabszámával elosztjuk: pl. ha egy idéző cikknek 8 szakirodalmi tétele van,

akkor ebből egynek a súlya a mi szerzőnk szempontjából 1 / 8. A sok tételt idéző publikáció így kevésbé hangsúlyos. Nem állítjuk, hogy ez a kiértékelés egyszerű, de ha az irodalomjegyzékek megvannak, elvben ez is lehetséges.

Speciális adatok

A fentieken túlmenően vannak további kérdések, amelyeket szívesen feltesznek különböző bizottságok és testületek. Ezek példáit sorolja fel a 4. ábra táblázata. Itt jelennek meg az impakt faktorral kapcsolatos statisztikák, a kollaborációs / multicentrumos cikkek (lásd a lábjegyzetet feljebb) adatai és így tovább.

Tudományos közlemények speciális adatai (csak teljes adatú közlemények)

Több tudományterület is figyeli a Hirsch-index (h-index) értékét. Ez az idézettség egyfajta mérőszáma: kisebb, ha van egy-két kiugró idézettségű közlemény, amely az idézettségi számot megdobja, de a szerző általános idézettségére nem jellemző. Jorge Hirsch az indexet eredetileg a Web of Science alapján számolta, amely az önidézeteket is válogatás nélkül tartalmazza. Elvben akármelyik adatbázis alapján kiszámolható, a függő idézetekkel vagy azok nélkül, a mi lehetőségeinket lásd Kollár István írásában (2008). Az MTMT-ben a Hirsch-indexet ezért kétféle módon is kiszámoljuk: a Web of Science-ben definiált eredetihez hasonlóan (az önidézeteket is beleszámítva), és csak a független idézőkre.

Az adatbázis jelenleg még nem tartalmaz bizonyos adatokat: az idéző közlemények összegzett impaktfaktora például nem számítható ki, mert az idéző folyóiratok egyelőre nincsenek a törzsadatbázissal összekötve. Előbb-utóbb azonban ez is meglehet. Természetesen lehet azon vitatkozni, hogy ez mennyire fontos adat: azt méri ugyanis, hogy a Thomson Reuters által figyelt folyóiratok közül mennyire hivatkozott folyóiratban jelentek meg a hivatkozások. Ez erősen tudományterület-függő, de annyit talán érdemes megkockáztatnunk, hogy jó hír, ha ez a szám magas.

Az adatok értékét egyébként is érdemes egyenként górcső alá venni. Az összegzett impakt faktor magas értéke vonzó, és sokan komolyan is veszik. De ha a magas impakt faktorú folyóiratban közölt cikkre kevés a hivatkozás, akkor ez inkább negatív üzenetet hordoz: eszerint az általában sokat idézett lapban (jó helyen) közölt cikk hatása az elvártnál kisebb. Óvatosnak kell tehát lennünk bármilyen értékeléssel. De ez már átvezet a tudománymetriai elemzések rejtelmeibe.

Diagramok

Bármilyen adatról van is szó, a táblázatos megjelenítés emberi szemmel nehezen értékelhető, míg az adatok grafikusan annál jobban áttekinthetők. A közlemények és idézők időbeli eloszlását szemlélteti az 5. ábra (itt nem igazi adatokkal, csak az elvet illusztrálva).

A grafikus megjelenítés sok más módon is elképzelhető: ezekkel a példákkal főként az olvasó fantáziáját szerettük volna megindítani. Ami hasznos, elvileg kiszámítható és programozható, azt kérhetjük is a számítógéptől.

Adatbázis-kapcsolatok

Az internetes adatbázisokban való megjelenés nem mindenütt követelmény, és önmagában nem értékmérő. Mégis fontos információ, hogy a szerző mennyire „látszik” az interneten. Különösen jó jel, ha Digital Object Identifierek (DOI) nagyobb számban megjelennek: ez azt jelenti, hogy ezek a cikkek teljes szöveggel elérhetők (akár ingyenesen, akár pénzért), ugyanis így az internetet használó kollégák jó eséllyel megtalálják, és el tudják olvasni.

A 6. ábra és a 7. ábra a közlemények és idézetek internetes elérhetőségi adatainak megjelenési formáját mutatja. A „darabszám” azt mutatja, a szerző hányat adott meg adatbázis-kapcsolatként, a „láttamozott” a könyvtáros formai ellenőrzésére utal, a „hitelesített” pedig az adatok összevetésére az adatbázis tartalmával.

Egyéni részesedések
a tudományos teljesítményből

Vitatott és megoldatlan kérdés az, hogy társszerzős közlemények esetén hogyan állapítható meg az egyéni tudományos teljesítmény, mennyire számítson a társszerzők száma. Az adatbázis itt sem foglal állást, de elvben ki tudja számítani az egyéni részesedéseket is: az érintett mutatószámokat (darabszám, impakt faktor, idézőszám) elosztja a szerzők számával, vagy ha az osztály kéri, és a szerző megadta, akkor %-os részesedést számol. Ez nem jelent semmiféle értékelést, mindössze egyfajta adatszolgáltatás, amely hozzájárulhat a teljes kép objektív kialakításához.

Az ilyen számok elvi alapja az, hogy ha egyéni vagy intézményi teljesítményt akarunk megmutatni, akkor látnunk kell azt is, hogy mekkora arányban vett részt az egyén a közlemény eredményeinek és magának a közleménynek a létrehozásában, annál is inkább, mivel a tudományos minősítéssel megszerezhető címek, fokozatok, tagságok egyéni teljesítmény alapján nyerhetők el. Nyilvánvalóan mást jelent, ha valaki tizenöt–húsz, esetleg hatvan–nyolcvan, vagy még ennél is több társszerzővel publikál havonta több cikket nívós lapban, vagy egy-két társszerzővel félévente egyet. Az adott körülményeket csak a részletek ismeretében lehet értékelni, de a különleges helyzetre az adatoknak fel kell hívniuk a figyelmet.

A 8. ábra egyéni részesedéseket mutat a 2–4. ábrákon látható abszolút teljesítmények alapján.
A két elv: „egy közlemény az egy közlemény minden szerző számára, akárhány társszerző is van” és „az igazságos az, ha a társzerzők számával osztunk” a két véglet. Köztük sokféle átmenet elképzelhető, s ha az algoritmust valaki megadja, akkor az a számítógépen programozható. Megtehető például, hogy nem a társszerzők számával arányosan növeljük az osztó faktort, hanem ennél lassabban. A megfelelő eljárás sok tényezőtől függhet. Az adatbázis dolga nem az, hogy ilyen értelemben igazságot szolgáltasson, azon azonban érdemes elgondolkozni, hogy sem az intézményeket, sem a szerzőket nem szabad előnyösebb helyzetbe hozni a társszerzők számának növelésével. Ha például háromnál több társszerző esetén minden társszerző egyharmad részesedést számolhat el, akkor a szerzőknek és az intézményeknek érdekévé válhat, hogy minél több társszerző legyen a cikkeken. Ez pedig nyilván nem cél. A társszerzőség valósághű megadása mindenki számára fontosabb érték, mint a tudománymetriai táblázatok fényezése.

Kulcsszavak: statisztika, tudománymetria, scientometria, publikációs lista, idézettség, hivatkozási lista, MTMT, Magyar Tudományos Művek Tára, Web of Science, Scopus, Digital Object Identifier, DOI

IRODALOMjeGYZÉK, SZÁMÍTÓGÉPES LINKEK

(A DOI-k mögötti tartalom megtekinthető a WEBCÍM > segítségével

Bornmann, L, Mutz, R, Neuhaus, C, Daniel, HD (2008): Citation counts for research evaluation: standards of good practice for analyzing bibliometric data and presenting and interpreting results. Ethics in Science and Environmental Politics (ESEP), Vol. 8, No. 1, pp. 93-102. DOI: 10.3354/esep00084

Nicola de Bellis (2009): Bibliometrics and Citation Analysis. From the Science Citation Index to Cybermetrics. The Scarecrow Press, Inc., Lanham MD. 417 p.

L. Egghe (2010): The distribution of the uncitedness factor and its functional relation with the impact factor. Scientometrics, Vol. 83, No. 3, pp. 689-695. DOI: 10.1007/s11192-009-0130-y

Koenig, MED (2000): Bibliometric indicators versus expert opinion in assessing research performance. Journal of the American Society for Information Science, Vol. 34, No. 2, pp. 136-145.

Kollár István (2010): Álom vagy valóság? Egy (fél)automatikusan működő bibliográfiai adatbázis felé. Magyar Tudomány, Vol. 171, No. 6, pp. 684-693.  WEBCÍM >

Kollár István (2008): A Hirsch-index meghatározása és az idézetek keresése különböző adatbázisokban. WEBCÍM >

Moed H. F., W. Glänzel, U. Schmoch (eds.) (2004): Handbook of Quantitative Science and Technology Research. The Use of Publication and Patent Statistics in Studies of S&T. Systems. Kluwer, Dordrecht. 800 p.

mycite adatbázisok (2010): WEBCÍM > • WEBCÍM > • WEBCÍM >

Patton, Michael Quinn (2001): Qualitative research and evaluation methods. Sage Publications Inc., Thousand Oaks, CA, 598 p.

Vinkler P (2010): The Evaluation of Research by Scientometric Indicators. Chandlos Publishing, Oxford. 336 p.

van Raan, Anthony F. J. (2006): Comparison of the Hirsch-index with standard bibliometric indicators and with peer judgment. Scientometrics, Vol. 67, No. 3, pp. 491-502. WEBCÍM >

LÁBJEGYZETEK

1 A Web of Science (WoS) adataira építve létezik az ún. ResearcherID oldal (WEBCÍM >): ezen a szerző megadhatja a WoS-ban szereplő saját közleményeit, s az oldal mindig az aktuális idézőszámot mutatja. Azokban a tudományágakban (pl. fizika, biológia, kémia, orvostudomány), melyek fontosabb közleményei és idézői is megtalálhatók a Web of Science-ben, s az adott szerző hivatkozási száma és/vagy h-indexe nagy, ez olyan hiteles statisztikát szolgáltat, amelynek adatai kevéssé függnek a szerző hivatkozásgyűjtő szokásaitól. Tehát a Web of Science-ben megfelelően figyelt szerzőknél az alapadatokra létezik automatikusan frissülő táblázat. Erre az MTMT-ből minden szerző rá is tud mutatni. Az MTMT táblázata akkor lesz ezzel összemérhető, ha a többé-kevésbé automatikus frissítést ott is megoldjuk. Alternatíva lehet majd a Scopusra alapozott mérőszámok megmutatása is (pl. SJR, lásd WEBCÍM >) <