|
|
Az elmúlt években több írás is foglalkozott a
Magyar Tudományban az MTA által létrehozott Magyar Tudományos Művek
Tárával, azaz az MTMT-adatbázissal. Egy szerző megkérdőjelezte a
hasznosságát (Scheuring, 2012), mások pedig megpróbálták a
létjogosultságát más országok gyakorlatával összevetve alátámasztani
(Tichy-Rács, 2012), illetve a meglétének előnyeit kidomborítani
(Kollár, 2012).
Egyetértve az utóbbi véleménnyel, álláspontom
szerint azzal tisztában kell lenni, hogy minden adatbázist arra kell
használni, amire érdemes. Így az MTMT nem konkurense vagy
helyettesítője például a Web of Science (WoS) adatbázisnak, tehát
valóban nem célszerű az MTMT-ben szakirodalmi kutatást végezni.
Kiindulási pontnak ezért inkább annak
végiggondolását ajánlom, hogy – mivel már úgyis meglehetősen
előrehaladott állapotban van az MTMT-rendszer kiépítése és annak
feltöltöttségi foka, illetve az egyéb adatbázisokkal (például :
OTKA, ODT) való összekapcsolása – miképpen lehetne az MTMT-t még
jobban azon célok szolgálatába állítani, amelyre eredetileg
létrehozták, nevezetesen elősegíteni az egyes kutatók,
kutatócsoportok és intézmények vagy szakterületek értékelését
tudománymetriai adatok felhasználásával is. Természetesen
megszívlelendő a Csaba László és munkatársai (Csaba et al., 2014)
által a jelenlegi MTMT-adatkezeléssel kapcsolatban nemrégiben
részletesen felsorolt kifogások egy része is. Ezek megvizsgálására
és az indokolt hiányosságok kiküszöbölésére valóban szükség van, és
különösen tekintettel kell lenni az egyes tudományterületek sajátos
igényeinek figyelembevételére.
A fentiekben kifejtett alaphozzáállás szellemében
jelen írásom konkrét javaslata arra vonatkozik, hogy az MTMT által
generált adattáblázatok pontosabb képet tükrözzenek az egyéni
kutatói teljesítmény tudománymetriai paramétereken keresztül történő
megítélésének jelenlegi gyakorlatánál. Az elmúlt években ugyanis
szokásossá vált számos pályázattípus (OTKA, MTA insfrastrukturális
beruházások, ERC) elbírálása során, hogy – a kutatói teljesítmény
mérésére szolgáló integrális paraméterek, úgymint a teljes életműre
vonatkozó összesített publikációszám és impaktfaktor, valamint az
összes független hivatkozások száma mellett – az „elmúlt 5 (vagy 10)
év teljesítményét” mérő paramétereket is figyelembe veszik. A
publikációk számára és az impaktfaktorra vonatkozólag ezek megadása
egyértelmű. Más a helyzet az „elmúlt 5 (vagy 10) év
teljesítményének” mérésére használt hivatkozások számával, amire
kétféle adatot lehet megadni:
(1) az adott utóbbi időszakban a teljes életműre
kapott független hivatkozások számát: FH(1), vagy
(2) az adott utóbbi időszakban megjelent
közleményekre kapott független hivatkozások számát: FH(2).
Ennek a kérdésnek azért van jelentősége, mert –
mint azt alább látni fogjuk – a kétféle szám között általában igen
jelentős eltérés lehet. Emiatt fontos, hogy a pályázatkiíró pontosan
definiálja, melyik számot kéri megadni, hogy így minden pályázó
egységes megítélés alá essen a tudománymetriai paraméterek
kiértékelésénél. Ez különösen olyan esetekben lényeges, ahol nem az
MTMT-ből történik a tudománymetriai adatok importálása, illetve nem
kötelező az import, hanem kézi bevitellel is megadhatók az adatok.
Az OTKA pályázati rendszerben a szerző elmúlt tíz
évben kapott független hivatkozásainak jelenlegi adatai az
1. táblázatban
szerepelnek. Ez lényegében annak felel meg, hogy az OTKA pályázati
anyagban a fenti (1) változat szerint kérik megadni a
hivatkozásokat, vagyis az elmúlt tíz évben a teljes életműre kapott
összes független hivatkozás számát, FH(1)-et importálja az OTKA
elektronikus pályázati rendszere az MTMT-ből. Hasonló módon kérték
az elmúlt években az MTA infrastrukturális pályázatok beadásánál is
az elmúlt öt évben kapott hivatkozások számát megadni.
Az alábbiakban arra teszek javaslatot, hogy az
„elmúlt 5 (vagy 10) év teljesítményét” mérő hivatkozásszámoknál a
jelenleg kért FH(1) szám helyett az FH(2) hivatkozásszámot kelljen
megadni a beadott pályázatok táblázataiban. Az utóbbi értelmezésnek
megfelelően az elmúlt tíz évre vonatkozó hivatkozásszám (ismét a
szerző MTMT-ből vett saját aktuális adataival) a
2. táblázatban látható. A
két táblázatból kitűnik, hogy az FH(1) = 1434 és FH(2) = 376 adatok
között az eltérés mintegy négyszeres (az arány FH(2)/FH(1) = 0,26).
Megjegyezzük, hogy a kétféle szám között elvi
okokból is különbséget kell tenni, mert másfajta mérőszámnak
tekintendők az alábbi okfejtések alapján.
Az „adott utóbbi időszakban a teljes életműre
kapott hivatkozások száma, FH(1)” azt jelzi, hogy a kutató egész
életműve milyen visszhangot váltott ki az utóbbi években. Ennek
illusztrálására általában a WoS-ben könnyen generálható hivatkozási
diagramot szokták megadni. Egy ilyen diagram egy adott kutató
publikációira a WoS-adatbázisban kapott összes (tehát a függő
idézeteket is tartalmazó) hivatkozásszámokat mutatja be olyan
bontásban, hogy a kapott hivatkozások ahhoz az évhez vannak
rendelve, amikor a hivatkozó publikációt az adatbázisban rögzítették
(ez az esetek túlnyomó részében a hivatkozó publikáció megjelenési
éve). Ennek szemléltetésére az 1.
ábra mutatja be a szerző így generált saját WoS-beli
hivatkozási diagramját. Egy ilyen diagramból viszonylag könnyen
megbecsülhető, hogy az adott kutató mostanában évente átlagosan
mennyi hivatkozást kap a teljes életművére, illetve egy utóbbi
kiválasztott időszakban (például az elmúlt 5–10 évben) mennyi
hivatkozást kapott (konkrét számadatok az ábraaláírásban
találhatók).
Egy ilyen diagramot úgy is szokás interpretálni,
hogy az utolsó évek felé dinamikusan emelkedő hivatkozásszám jelzi a
kutató egyre fokozódó elismertségét. Figyelembe kell azonban venni,
hogy ez a kijelentés inkább csak viszonylag fiatal kutatók esetében
bír jelentőséggel abból a szempontból, hogy az esetleg (még) nem túl
magas összes hivatkozási szám mellett jelzi az elismertség várható
fokozódását (az összhivatkozásszám várható lényeges javulását).
Tapasztaltabb (hosszabb ideje publikáló) kutatók esetében ez a
növekedési trend származhat egy jóval korábbi időszak eredményes
kutatási tevékenységéből is, és éppen ez fog kitűnni a jelen írásban
alább ismertetendő újfajta diagramból.
A saját értelmezésem szerint a pályázatkiírók
feltehetőleg azért kérik újabban az összesített tudománymetriai
paraméterek mellett az „utóbbi 5 (vagy 10) év tudománymetriai
adatait” is, hogy képet kapjanak arról, az adott kutató a pályázat
beadását megelőző néhány éves időszakban (mondhatni „mostanában”)
mennyire aktív (publikációszám) és – legalábbis tudománymetriailag
megfogható módon (impaktfaktor, hivatkozásszám) – mennyire
eredményes tudományos tevékenységet fejtett ki.
Ha valóban az előző bekezdésben feltételezett
kritérium lebegett a pályázatkiírók szeme előtt, akkor nyilvánvaló,
hogy az „adott utóbbi időszakban megjelent közleményekre kapott
hivatkozásokat, FH(2)-t” kellene megadni megfelelő mérőszámként. Ha
ugyanis az „adott utóbbi időszakban a teljes életműre vonatkozólag
kapott hivatkozások számát, FH(1)-t” adjuk meg, az a korábbi
eredményes kutatói múltra kapott hivatkozásokat kétszeresen veszi
figyelembe, hiszen a régi cikkekre kapott friss hivatkozások egyszer
már szerepeltek az összesített hivatkozásszámban is. (Az 1.
és 2. táblázatban szereplő adatokból az látszik, hogy a
szerző a 2223 összhivatkozásából FH(1) = 1434-et kapott az elmúlt
tíz évben, de ezen utóbbi hivatkozásszám döntő részét, FH(1)
– FH(2) = 1058 idézetet az elmúlt tízéves időszak előtt megjelent
publikációkra kapta.)
Természetesen a kérdezett utolsó időszak előtti
kutatómunka mostani elismerése a friss hivatkozások kiemelkedő
számában nyilván értékelendő teljesítmény, de ennek csak egyszer
szabad megjelennie, mégpedig az összteljesítményt jelző számokban,
amennyiben a pályázatkiíró valóban a szerint kíván előnyben
részesíteni pályázókat, hogy egy közelmúlt időszakban végzett
tevékenység tudománymetriai paramétereit külön veszi figyelembe. Ez
a vélelmezett értelmezés olvasható ki abból is, hogy például az
OTKA-pályázatok benyújtásánál szenior kutatók esetében olyan
táblázatot is szerepeltetni kell, amelyben az utolsó öt évben
megjelent öt legfontosabb publikációt kell megadni az
impaktfaktoraikkal és a kapott független hivatkozásaikkal együtt.
|
|
|
Ezért javaslom a
2. ábrán látható újfajta diagram elkészítését, melyhez az
MTMT-ben szereplő saját aktuális adataimat használtam fel. Ennél a
diagramnál a független hivatkozások számát ahhoz az évhez rendeljük,
amikor a hivatkozott publikáció megjelent. Így lényegében ránézésre
gyorsan megbecsülhető egy kiválasztott utóbbi időszak közleményeire
kapott független hivatkozások száma (konkrét számadatok az
ábraaláírásban találhatók). Emellett hosszabb időszakaszra
vonatkozólag is támpontot nyújt egy kutató sikeres kutatási
tevékenységének áttekintéséhez. Jól kirajzolódnak a sikeres vagy
kevésbé sikeres témák művelésének időszakai, illetve az egyes
időszakok tevékenységének független hivatkozások számával mért
eredményessége és annak időbeli fejlődése.
Az 1. és 2. ábrán szereplő diagramok
összehasonlításával ránézésre is könnyen megállapítható, hogy az
elmúlt tíz évben kapott (függő + független) összes hivatkozás száma
(WoS) jóval nagyobb, mint az adott időszakban megjelent
közleményekre kapott független hivatkozások (MTMT) száma. Az
ábraaláírásokban szereplő erre vonatkozó adatok alapján ez az arány
közel négyszeres, ami nagyjából egyezik az 1. és 2.
táblázat megfelelő adataival (az eltérés a WoS- és MTMT-adatok
közötti különbségből ered).
Ezek a tények alátámasztják, hogy a kétféle diagram
nem egyformán méri a független hivatkozások számával jellemzett
kutatói eredményességet egy vizsgált utóbbi időszakra vonatkozólag
(ez az állítás nyilván érvényes marad akkor is, ha nem a függő és
független hivatkozások WoS-ból kinyerhető, elmúlt időszakbeli számát
tekintjük, hanem az MTMT-ből kapott tényleges FH(2) értékeket, amint
azt az 1. és 2. táblázat összehasonlítása is mutatta).
Ebből következik, hogy a pályázatkiíróknak pontosan definiálniuk
kell, hogy ha tudománymetriai paraméterekkel is rangsorolni kívánják
a pályázó kutatókat, akkor milyen paraméterek megadását kérik.
Annak további szemléltetésére, hogy egy utóbbi
időszak publikációira kapott hivatkozások száma megfelelő mérőszám
lehet ezen időszak hivatkozásokban mért eredményességére, bemutatjuk
a 3. ábrát. Itt egy tízéves
előző időszakban megjelent publikációkra kapott független
hivatkozások FH(2) száma szerepel néhány kiválasztott kutatóra az
összes független hivatkozás számának függvényében. A kiválasztás
alapja az volt, hogy az adott kutató adatai viszonylag friss dátumig
fel legyenek töltve az MTMT-be. Mivel az MTA-tagjelölteknek
jelöléskor a frissítés kötelező, ezért a legutóbbi (2013. évi)
tagajánlás idején vettük a 2012. év végi adatokat a fizikus és
kémikus tagjelöltekre, kiegészítve néhány, friss adatokkal
rendelkező fizikus kutatóéval, köztük a szerzőével (mindkét fizikus
csoportban eltekintettünk a nagy szerzőszámú cikkekben szereplő
kutatóktól). Az önkényesen behúzott y = 0,25 x referenciavonal
segítségével látható, hogy az összes hivatkozás számával az utóbbi
tízéves időszak publikációira kapott hivatkozások száma nagy
átlagban nő. Ugyanakkor az is nyilvánvaló, hogy igen jelentős a
szórás a referenciavonalhoz viszonyítva: ugyanolyan
összhivatkozásszámnál közel tízszeres is lehet az eltérés az utóbbi
vizsgált időszak közleményeire kapott hivatkozások számában az egyes
kutatók között. Ez éppen az utóbbi időszak FH(2) hivatkozásszámmal
mért kutatói eredményességének eltéréseit tükrözi.
Összegyűjtöttük a 2014. év végi adatokat is
(ezúttal a 2005–2014. évekre vonatkozó FH(2) értékekkel) a 3.
ábrán szereplő kutatókra, de az áttekinthetőség érdekében a
frissebb adatokat nem tüntettük fel. Az összhivatkozásszámok
értelemszerűen növekedtek minden esetben, bár eltérő mértékben az
egyes kutatókra. A 2012. és 2014. végi mintavételhez tartozó
FH(2)-értékek általában kismértékben nőttek vagy csökkentek, de az
összkép nem változott. Egyes esetekben azonban igen erős csökkenés
következett be a 2012. és 2014. évi FH(2)-számokban, aminek oka
például az volt, hogy egy ezer fölötti hivatkozásszámú publikáció
„kicsúszott” a második tízéves ablakból. Az ezen publikációra kapott
hivatkozások természetesen szerepelnek az összes hivatkozások
számában, de ez is mutatja, hogy a fentebb definiált FH(1)- és
FH(2)- hivatkozásszámok eltérő módon mérik az eredményességet. Ezen
fluktuációk még erőteljesebbek lehetnek, ha egy ötéves utóbbi
periódusra tekintjük az adatokat, mivel akkor az
FH(2)-hivatkozásszámok jelentősen kisebbek lesznek, a szórásuk is
nagyon meg fog nőni. Emiatt véleményem szerint a tíz évnél rövidebb
időre vett összegzés már nem lesz megbízható összehasonlítási alap.
Egy utóbbi adott időszak publikációira kapott
független hivatkozások számának megadásához az MTMT-rendszert
könnyen alkalmassá lehetne tenni arra, hogy például az OTKA felé az
FH(2)-hivatkozásszámot adja meg az eddigi FH(1) helyett.
Mindemellett akár az 1., akár a 2. ábrán látható
típusú diagramok tényleges előállítása bizonyára egyszerűen
megoldható lenne az MTMT-rendszerben is, lehetővé téve az ilyen
diagramok alapján a fentebb ismertetett kutatói értékeléseket is. Az
1. ábra szerinti diagram kinyerése az MTMT-ből azzal az
előnnyel járna, hogy csak a független hivatkozásokat lehetne
szerepeltetni rajta, ellentétben a hasonló WoS-diagrammal (1.
ábra), ami a függő hivatkozásokat is tartalmazza.
Értelemszerűen az MTMT-adatok alapján elkészíthetők
a WoS-ban is generálható publikációs és hivatkozási diagramok a
megjelenési év függvényében, valamint a folyóiratközlemények
impaktfaktorainak évenkénti diagramja is. Az MTMT-rendszer
továbbfejlesztésénél mindezeket a lehetőségeket a fent kifejtett
okok miatt célszerű lenne esetleg szem előtt tartani.
Egyetértek azzal az általánosan elfogadott
véleménnyel, hogy a tudománymetriai paraméterek kizárólagos
használata kutatói teljesítmények mérésénél nem abszolutizálható.
Hozzászólásomat az motiválta, hogy – mivel láthatólag a pályázatok
elbírálásánál jelenleg mégis igen fontos szerepet játszanak – akkor
legalább ezen paraméterek figyelembevétele a lehető legkorrektebb
formában, egységes értelmezéssel történjen minden esetben.
Összefoglalás
A jelen dolgozatban arra tettem javaslatot, hogy a pályázatok
elbírálásánál szokásosan kért hivatkozásszám megadása az „utóbbi 5
vagy 10 évre” olyan értelmezésben szerepeljen, hogy az „adott utóbbi
időszakban megjelent közleményekre kapott független hivatkozások
számát, FH(2)-t” kelljen megadni a jelenleg általában elvárt „az
adott időszakban kapott hivatkozások száma, FH(1)” helyett.
Számszerű adatokkal bemutattam, hogy a kétféle módon megadott
hivatkozásszámokban lényeges különbségek lehetnek, ami miatt az
utóbbi időszak hivatkozásokban mért eredményességét eltérően mérik.
Rámutattam, hogy a kétféle mérőszám elvileg is különböző adatokat
szolgáltat, amelyek közül csak az FH(2)-mennyiséget tartom helyes
mérőszámnak az adott célra. Egy reprezentatívnak tekinthető kutatói
csoport MTMT-adatai alapján illusztráltam, hogy az általam javasolt
FH(2)-mérőszám igen különböző lehet azonos összes hivatkozásszám
mellett, tehát erőteljesen elkülöníti az egyes kutatók
eredményességét, ha például egy elmúlt időszak megítélése kívánatos
a pályázatkiíró részéről. Javasoltam továbbá, hogy az MTMT-rendszer
fejlesztésénél legyen szempont a jövőben az is, hogy az utóbbi évek
publikációira kapott hivatkozások összes száma automatikusan legyen
kinyerhető az MTMT-rendszerből, illetve a bemutatott típusú
diagramok legyenek ugyanitt előállíthatóak, elősegítendő a további
értékeléseket.
Kulcsszavak: hivatkozások, MTMT, WoS, OTKA, pályázatok
IRODALOM
Csaba László – Szentes T. – Zalai E.
(2014): Tudományos-e a tudománymérés? Megjegyzések a tudománymetria,
az impaktfaktor és MTMT használatához. Magyar Tudomány. 4, 442–466.
•
WEBCÍM
Kollár István (2012): Az MTMT-adatbázisról
és hatékony feltöltéséről – Hozzászólás Scheuring István cikkéhez.
Magyar Tudomány. 11, 1383–1388. •
WEBCÍM
Scheuring István (2012): Kinek van
szüksége az MTMT-adatbázisra? Magyar Tudomány. 8, 991–992 •
WEBCÍM
Tichy-Rács Ádám (2012): Kinek van szüksége
az MTMT-adatbázisra? – Hozzászólás Scheuring István cikkéhez. Magyar
Tudomány. 11, 1379-1382. •
WEBCÍM
|
|
