Bevezetés

A Magyar Tudomány hasábjain a közelmúltban jelent meg egyikünk – nem teljes igényű – áttekintése a tudománymetriai frakcionális mutatók témakörének hazai történetéről (Papp, 2012). Az áttekintésből kitűnik, hogy a frakcionális mutatók gyakorlati alkalmazására az egyének szintjén hazánkban csak ritkán és esetlegesen került sor, pedig a frakcionálást ezen a szinten egy magyarul 1980-ban megjelent módszertani mutató már ajánlotta. A frakcionális mutatók alkalmazására a ritka, nyilvánosan hozzáférhető példák egyike az MTA Atommagkutató Intézet publikációs-hivatkozási adatbázisa (Zolnai, 1998). Intézményi szinten ennek 1998-bani létrejötte előtt, csak az MTA használta a frakcionálást az akadémiai kutatóintézetek teljesítményének összehasonlítására 1982-ben (Schubert et al., 1982), valamint az Atomki tekintetében (Zolnai – Berényi, 1989). Sajnálatos módon az MTA intézeteinek 1996–98 évi konszolidációjakor is elkerülte az értékelők figyelmét e mutatók használata, bár az MTA központi szerveinek levelezésében még 1992-ben is felbukkant ennek igénye. A Magyar Tudományos Művek Tára (MTMT) jelenleg elzárkózik a frakcionális mutatók nyilvános bemutatásától. Tudomásunk szerint néhány intézet (pl.: Szegedi Biológiai Kutatóközpont, Budapesti Műszaki Egyetem) belső kutatásértékelési célra használja a frakcionális mutatókat.

A frakcionális mutatóknak az egyének szintjén történő hazai alkalmazására tett javaslatokat legtöbbször hallgatás, illetve érezhető elutasítás kísérte. Szerintünk ennek egyik oka az lehetett, hogy az értékelés egyéni rendszerében majdnem minden hozzászóló érintett volt vagy lesz, és egy előre meg nem jósolható eredményt hozó új-régi rendszer bevezetése esetleg átrendezheti a hazai status quót. Jelen cikkünkben nem folytatjuk az egyének szintjén való frakcionálásról szóló polémiát, inkább a frakcionális mutatóknak az egyéni szint felett elhelyezkedő hazai intézményi, illetve országonkénti alkalmazásának lehetőségeit tekintjük át. Annál is inkább számíthatunk a frakcionálással kapcsolatban az intézmények esetében türelmesebb fogadtatásra, mivel a tudománymetriával foglalkozók körében elfogadott, hogy intézményi szinten a tudománymetriai eszközök alkalmazása egyszerre viszonylag releváns és megbízható.

Kutatás és kutatásértékelés

A kutatási-kutatásértékelési folyamat egyes lépcsőfokait a következő folyamatábrán szemléltethetjük:

Kutatási feltételek számbavétele,
a kutatás tervezése
↓
Kutatási erőforrások igénybevétele
és a kutatás kivitelezése
↓
Kutatási eredmények publikálása,
majd hivatkozások megjelenése
↓
Publikációs-hivatkozási listák kialakulása
↓
A publikációs-hivatkozási listákból
származtatott statisztikák, mutatók
(indikátorok) létrehozása
↓
A szóban forgó kutatás eredményességének értékelése, a tudománymetriai mutatókon kívüli szempontok figyelembe vétele
↓
A kutatási feltételek változtatása,
döntés a kutatás folytatásáról,

támogatásáról, további irányairól

Régebben a kutatások eredményességének értékelése a publikációkra, majd a publikációs-hivatkozási listákra támaszkodott, egyes adattárak (például Magyar Tudományos Művek Tára) kiindulási célja is csak a listák bemutatása volt. A százas-ezres nagyságrendű publikációt és hivatkozást tartalmazó egyéni és intézményi listák feltűnésével, és az értékelést végző humán erőforrás korlátozott volta miatt szükségessé vált a publikációs-hivatkozási listák lényeges adatainak kompaktabb formában való közreadása. Az így készített statisztikáknak – nézetünk szerint a publikációk minden lényeges adatát tükrözniük kell (1. ábra). Nem elégedhetünk meg azzal, hogy minden, a fejzetben szereplő egyéni szerzőnél, intézetnél és országnál figyelembe vesszük az illető publikációt, hanem a fejzet egyéb részleteit (leginkább a szerzők számát) is számításba kell vennünk. Lentebb látni fogjuk, hogy nem közömbös a kutatásértékelésnél figyelembe vett mutatók származtatási módja és összetétele. A széles körben elterjedt sztereotípiákkal szemben, a kutatásértékelés igenis többnyire ezekre a statisztikákra támaszkodik, egyébként mivel lenne magyarázható a hazánkban több, egymást követő tudományos publikációs adattár (Akadémiai Tudományos Publikációs Adattár, Köztestületi Publikációs Adattár, MTMT) nagy ráfordítással való létrehozása, amelyek – félősen bár – közölnek bizonyos mutatókat. Nagyon fontos, hogy a kutatásértékelés releváns mutatókra támaszkodjon. Ennek a kritériumnak a teljesülése elengedhetetlen ahhoz, hogy a kutatásértékelés általi „ösztönzés” a lefektetett tudománypolitikai célok irányába hasson.

A publikációk „szétosztásának”
különböző módozatai

Az egyéni és intézményi publikációs és hivatkozási listák hosszabbodásával felmerült az igény, hogy a listák lényeges adatai sűrítettebb formában kerüljenek bemutatásra. Abból a célból, hogy megtaláljuk a „lényeges” adatokat, érdemes egy tipikus publikáció fejzetét megtekinteni.

A fejzetben a szerzők három szintjét, az egyének, intézmények és az országok szintjét különíthetjük el. Az egyes szintek képviselőit a továbbiakban aktoroknak nevezzük. A listákból származtatott adatok egyikére kézenfekvő választás a listákban szereplő publikációk száma lehet. Milyen megfeleltetést alkalmazzunk a publikációk és az aktorok között? Erre több javaslat is született már, a szakirodalomban több „szétosztási” módszer ismeretes. Az aktorok közti szétosztási módszerek alkalmazásában vagy éppen az azonos terminológia használatában – sok erőfeszítés ellenére – az evaluatív tudománymetria területén sincs egyetértés (Larsen, 2008). A szétosztás mikéntjére vonatkozó javaslatoknak, a sokszor egymásnak ellentmondó megfogalmazások tisztázásában Marianne Gauffriau és munkatársai tettek jelentős előrelépést (Gauffriau et al., 2008). Az idézett szerzők nem kevesebb, mint tizenkilenc szétosztási módszert ismertetnek. Jelen írásunkban ezek közül csak a három legfontosabbat mutatjuk be, és csak kettőt használunk.

Az első vagy egészben való beszámítás (whole [integer] counting) esetében egy cikk minden aktoránál – értelemszerűen minden szerzőjénél, intézeténél és országánál – 1–1 egységgel vesszük figyelembe a publikációt. Rögtön látszik ennek a módszernek a nagy hátránya, ti. nem additív, azaz egy magasabb aggregációs szinten a publikáció „megsokszorozódik”. A további két szétosztási módszer ezzel szemben additív. Ezek közül az egyiknél a feltüntetés sorrendjében első aktorhoz (egyénhez, intézethez, országhoz) rendeljük a publikáció egészét, a többiek nem kapnak belőle semmit (straight, vagy egyéneknél: first author counting). A másiknál az egyes aktorokhoz úgy rendelünk hozzá tört értékeket, hogy azok összege 1 legyen (fractional counting). Ez a hozzárendelés történhet úgy, hogy a tört értékeket az „érdemek” szerint adjuk (például mint a szabadalmaknál), vagy azok bizonyos szabály szerint változnak a sorrendben első aktortól való távolság (rank) függvényében, vagy éppen minden aktorra egyenlők (whole-normalized) (Derek De Solla Price sokat idézett megjegyzése: „The payoff in brownie points of publications or citations must be divided among all the authors listed on the byline, and in the absence of evidence to the contrary it must be divided equally among them.”¹ szerint (Price, 1981), illetve lásd a hazai hatályos szerzői jogi törvényt. Ez utóbbi módszer szerinti szétosztást fogjuk a továbbiakban a „frakcionális” elnevezéssel illetni. A „frakcionálás” menetét illetően az 1. ábra adatai alapján látszik, hogy az ábrázolt cikkfejzet Varga K. és Suzuki Y. mint egyének részére ½ –½ hozzájárulást ad, míg a Niigata Egyetem, a hirosawai RIKEN Kutatóközpont és az Atomki rendre 4/6–1/6–1/6 saját részt tudhat magáénak (ezeket intézeti saját résznek is nevezzük). Az is látszik, hogy a publikáció 5/6–1/6 arányban oszlik meg Japán és Magyarország között. Megjegyezzük, hogy a fenti szétosztási módszerek minden további nélkül tovább vihetők a publikációkhoz tartozó egyéb tudománymetriai objektumokra (hivatkozások, impaktfaktor stb.).

A szétosztási módszerek finomítása jelenleg is folyik. Legújabban a frakcionális mutatók módszerét úgy javasolták módosítani, hogy számításba vegye a szerzőségi sorrendet (természetesen az alfabetikus szerzőfelsorolás, illetve az explicit hozzájárulási megállapodás kivételével). A szerzőségi sorrend által generált súlyoknak, számtani, mértani, illetve harmonikus sor szerinti számításba vételére Nils T. Hagen (2010) végzett összehasonlító számításokat. A módszerek egyszerűen átvihetők az aktorok más szintjeire.

A frakcionálás szükségessége
intézményi szinten: hazai előjelek

A magyar intézmények tekintetében is minden olyan esetben fennáll az egyes publikációk többszörös számításba vételének veszélye, amikor azok a publikációkban más intézetekkel közösen vesznek részt.

Megvizsgáltuk az MTA Atommagkutató Intézet publikációszámának alakulását az intézet alapításától a megjelenési év függvényében az egészben való és a frakcionális szétosztás esetén (2. ábra).

Amint jól látható, a két pontsor a 80-as évek elején-közepén szétnyílt – amint azt már korábban jeleztük (Zolnai – Berényi, 1989) – és napjainkra a különbség jelentőssé vált. Ennek egyik oka lehet a hazai kutatási pályázati rendszer beindulása – mint ahogy a 40-es években az USA-ban történt (Price, 1981). Egyébként az egészben való szétosztással kapott publikációszám ábrázolt növekedése a kutatási feltételek változását tekintve indokolatlannak tűnik, mivel az utolsó 20–25 évben az intézet nem kapott lényeges műszerberuházást, és a kutatói létszám is ~100 körül mozgott.

A frakcionálisan számított „intézeti saját rész” növekedése – aminek minőségi változására az intézeti összimpakt saját részének monotonon növekvő trendje (3. ábra) is rámutat – inkább a lassan javuló általános, nem szorosabban vett finanszírozási feltételek (nyelvtudás, mobilitás, külföldi berendezések igénybevételi lehetősége, teljes szövegű folyóirat-adatbázisok hozzáférhetősége, publikációs gyakorlat, „pályázati nyomás” stb.) által indukált tanulási folyamat eredménye. Az is lehet, hogy azon folyóiratoknak, amelyekben az intézet publikál, lassan növekedik az átlagos impakt faktoruk. A növekedés összetételét vizsgálva elsősorban az elméleti kutatások súlyának növekedéséről számolhatunk be, ami a magyar fizika történetét tekintve nem meglepő.

Megjegyezzük, hogy a tekintett időszakban az MTA alkalmazottainak bérezése a 4. ábra szerint alakult, tehát ösztönzést a fentebbi tendenciához innen nem várhatunk.

Az egészben való szétosztás szerinti pontsorok ilyetén alakulása a nemzetközi kapcsolatok átalakulásával járó kooperativitás jelentős növekedésének köszönhető. A szerzőszám ugrásszerű növekedését mutatja az 5. ábra.

A társszerzőszám növekedését vizsgálva érdekes megfigyeléseket tettünk. A legtöbb kísérletes tudományágban hosszabb ideje (50–60 éve) léteznek olyan – főleg adatgyűjtő – közleménytípusok, amelyek esetében a nyert adatok

létrehozásához szükséges munka mennyisége viszonylag pontosan összehasonlítható. Megvizsgálva ezeket a cikkeket a megjelenési idő függvényében, azt tapasztaltuk, hogy az egy szerzőtársra eső átlagos cikkrész, a technikai fejlődés dacára egyre kevesebb adatot tartalmaz, vagyis a szerzők egyrészt törekednek a „minimálisan publikálható” adatot publikálni, másrészt az egyre több szerző (és erőforrás) – indokolt vagy indokolatlan – bevonásával az időegység alatt publikált cikkek számát növelni. Az elmondottakból is látszik, hogy a szerzőszám drasztikus változása mögött milyen bonyolult tudományszociológiai folyamatok rejtőzhetnek. Mint ahogy a szerzőszám, a szerzők által feltüntetett intézetek száma is inflálódni látszik, amint azt a fenti cikkfejzet mutatja (6. ábra).

Az egyes szinteken fellépő aktorok száma erősen befolyásolja a frakcionális mutatókat. Azok alakulása pedig azt sugallja, hogy az egészben vett mutatók valójában nem jellemzőek a kutatásokra, változásuk a külső, a szorosabban vett kutatásfinanszírozás által nem befolyásolt körülményeknek tulajdoníthatók (például: az Atomki Közlemények megszüntetése és ezzel együtt a magyar nyelvű közlés nemzetközi folyóiratok felé való terelése, a CERN-be való belépés stb.). Elképzelhető, hogy a szerzőszám és a közreműködő intézetek számának növelése az egészben való szétosztási módszer csaknem kizárólagos használatának is köszönhető, ugyanis ez a publikációk számának mindenáron való „szaporítására” ösztönöz. Ez azt is eredményezi, hogy a kutatásértékelés gyakorlatilag a „sötétben tapogatózik”. Szintén magyarázatul szolgálhat a kooperativitás indokolatlan növekedésére, hogy a magyar tudományos minősítési rendszerben (a Fizikai Osztály területén biztosan) bizonyos tudományos fokozatokra való pályázásnál a külföldi társszerzőktől nem kell a közös munkákra vonatkozó „lemondó nyilatkozatot” felmutatni.

Néhány évvel ezelőtt a sokszerzős publikációk problémájának felvetésekor – jelentős késéssel követve azok felbukkanásának Price 1981-es jelzését – a szokásos hazai ellenvetés az volt, hogy az ilyen publikációkból kevés van. Mára az ilyen publikációk megsokasodtak a fizikán kívül, az orvostudomány, a genetika és a csillagászat területén is. Egyes magyar intézetekben az évenkénti publikációs produktumnak a felét-kétharmadát is meghaladja a sokszerzős publikációk száma. A társadalomtudományokban is nőni kezdett az átlagos szerzőszám (Fisher et al., 1998).

Hazai és nemzetközi fórumokon gyakran elhangzik, hogy a cikkfejzetek összes olyan adatainak rögzítése, melyek a frakcionális mutatók teljes körű használatához szükségesek, túlzottan munkaigényes. Erre azt válaszolhatjuk, hogy ez a munka ügyesen megválasztott adatbázis szerkezet (csak a „default” értékektől eltérő adatok rögzítése) esetén, például az Atomki eddigi ~9500 publikációja egy ember mintegy kétheti elfoglaltságát jelentette. Ehhez persze az is kellett, hogy az Atomki-ban minden publikáció esetén visszakereshető legyen az illető cikkek fejzetét tartalmazó cikkrészlet. Az egyes publikációk esetében az adatok „fazonírozását” a nagy nemzetközi adatbázisok (például CEST adatbázis [lásd Gauffriau, 2008]) esetében is kézzel kell segíteni, főleg a cikkekben az ugyanazon intézmények nevének változatos formában való feltüntetése miatt. A rögzítendő extra adatok mennyiségét csökkenti, hogy míg a szerzők által feltüntetett intézmények sora változhat, az intézetek általában huzamosabb ideig önállóak maradnak, országbeli elhelyezésük pedig szinte sohasem változik. A frakcionális mutatók intézményi szinten való bevezetéséhez szükséges, becsülhető ráfordítás nem túl magas ár ahhoz képest, hogy a kutatásértékelés nem releváns volta miatt, esetleg milliárdok kerülnek rossz helyre, vagy emberek sorsa dől el nem kívánatos irányban.

Egy, a fenti frakcionális mutatók használatához közelítő megoldás lenne a szerzőszám, illetve a cikkben részt vevő intézetek számának használata. Mindkettőt tartalmazza az ismert Web of Science adatbázis, és részben közvetett módon (az illető intézeti társszerzőkre eső rész kiszámításával) az MTMT is lehetőséget nyújt ezeknek az adatoknak a közelítő származtatására.

Egy új, a publikációs szokásokat valószínűleg gyökeresen átalakító elképzelés, hogy a kutatóintézetek a folyóiratokra való előfizetések helyett a publikációk megjelentetéséért fizetnének egy, a kiadók fenntartását fedező díjat (jelenleg cikkenként 500 és 2500 USD között mozognak az előrejelzések). Ennek fejében az illető publikációk teljes szövege olvashatóvá válna mindenki számára. Amennyiben ez az elképzelés valóra válik, nyilván mindenki ragaszkodni fog a frakcionális (és egyenlő) mutatók használatához, hiszen a sokszerzős publikációkat jelenleg magukénak feltüntető intézetek nem akarják majd a teljes publikációs díjat kifizetni.

Kitekintés

Noha a frakcionális mutatóknak a fentiekben ismertetett teljes részletességű alkalmazásához szükséges adatokat a nagy nemzetközi publikációs-hivatkozási adatbázisok (Web of Science, Scopus stb.) nem tartalmazzák (azokat csak a teljes szövegű adatbázisokból lehet feltárni), a frakcionális mutatók alkalmazására több mezo- (intézményi) és makro- (országos) szintű vizsgálat történt. A következőkben néhány érdekes tanulmányt ismertetünk.

Mindenképpen említeni kell Gauffriau és munkatársai (2008) terjedelmes munkáját, amelyben különböző szétosztási módszerek alkalmazásával vizsgálták az országok 1981 és 2002 közti publikációs adatait. Több fontos megállapításuk közül kiemelendő, hogy az egészben való szétosztási módszerrel számolt adatok átlagosan 72%-kal csökkennek, ha a fracionálisan egyenlő (whole-normalized) módszerrel számolunk. Vizsgálatukból kitűnik az egyébként triviális eredmény, hogy az egészben való szétosztási módszer a kiterjedt nemzetközi együttműködéseket folytató országokat preferálja. Jelzik, hogy ez a probléma még jelentősebbé válik a nemzetközi kutatások számának növekedésével. Érdekes közlés, hogy míg az EU szervezetei az egészben való, az USA illetékes hatóságai a frakcionális szétosztás módszerét preferálják. Az eredmények többsége érvényesnek tekinthető az intézményi szinten is.

Loet Leydesdorff és Jung C. Shin (2011) hét dél-koreai kutatóegyetem hivatkozási adatait elemezte a frakcionális szétosztás módszerével, azzal a kiegészítéssel, hogy az egyes tudományterületi eltérő hivatkozási szokásokat normalizálással vették figyelembe. Azt állítják, hogy a normalizálási eljárásuk kiterjesztése a hivatkozó cikkek tudományterületére megszünteti a tudománymetria régi problémáját a tudományterületek különböző idézési szokásait illetően.

Mu-Hsuan Huang és munkatársai (2011) vizsgálatukban öt különböző szétosztási módszert hasonlítottak össze makro- (ország) szinten, a publikációk és hivatkozások száma, valamint a hivatkozás-publikáció arány (impakt) tekintetében. Azt találták, hogy a legelterjedtebben használt „teljes” szétosztási módszernél jobb választás az első szerzős és frakcionálisan egyenlő szétosztás módszere. E munka szerint tehát makroszinten még a frakcionális szétosztás legszélsőségesebb módszere is jobb a teljes szétosztás módszerénél.

Rövid kitekintésünket összefoglalva ugyanazt mondhatjuk, mint Ed J. Rinia és munkatársai (1993):

• Az egészben való szétosztás módszere minden aktori szinten megbízhatatlanná válik a kooperativitás (= teljes rész/saját rész) növekedésével.

• Az egészben való szétosztáshoz képest az első szerzős és a frakcionális szétosztás realisztikusabb, és a frakcionális mutató bizonyos esetekben jól közelíthető az első szerzős szétosztás szerint kapott eredménnyel.

• A sokszerzős publikációk egyéb, speciális szempontok szerinti elbírálását (ezeket a szempontokat illetően lásd Zolnai László írását (2008), le kell választani azok tudománymetriai értékelésétől, vagyis a más tudománypolitikai megfontolások ne legyenek hatással a tudománymetriai eredményekre.

Következtetések

A fentiek alapján leszűrhetjük azt a következtetést, hogy a frakcionális tudománymetriai mutatók használata egyre sürgetőbb a hazai intézményi publikációs statisztikák származtatásában. Az egészben való szétosztást használó mutatók alkalmazása mellett legalábbis biztosítani kellene a frakcionális mutatók feltüntetését. Ehhez első lépés lehetne az illető listában szereplő publikációk átlagos társszerzőszámának, és a részt vevő intézetek átlagos számának, vagy, hogy ha ez nehézséget jelent, az listában szereplő intézethez rendelt szerzőknek a teljes szerzőszámhoz viszonyított arányának feltüntetése.
 

Kulcsszavak: kutatásértékelés, tudománymetria, frakcionális mutató, társszerzőség, szerzőszám, intézményi szint
 

IRODALOM

Fisher, Bonnie S. – Cobane, C. T. – van der Ven, T. M. – Cullen, F. T. (1998): How Many Authors Does It Take to Publish an Article. Trends and Patterns in Political Science. PS: Political Science and Politics. 30, 2, 216–219. • WEBCÍM > és az ott idézett művek

Gauffriau, Marianne – Larsen, P. O. – Maye, I. – Roulin-Perriard, A. – von Ins, M. (2008): Comparisons of Results on Publication Counting Using Different Methods. Scientometrics. 77, 1, 147–176. DOI: 10.1007/s11192–007–1934–2 és az ott idézett műveik

Hagen, Nils T. (2010): Harmonic Publication and Citation Counting: Sharing Authorship Credit Equitably – Not Equally, Geometrically or Arithmetically. Scientometrics. 84, 3, 785–793. DOI: 10.1007/s11192–009–0129–4 •  WEBCÍM >

Huang, Mu-Hsuan – Lin, C.-S. – Chen, D.-Z. (2011): Counting Methods, Country Rank Changes, and Counting Inflation in the Assessment of National Research Productivity and Impact. Journal of the American Society for Information Science and Technology. 62, 12, 2427–2436. DOI: 10.1002/asi.21625

Larsen, Peder Olesen (2008): The State of the Art in Publication Counting. Scientometrics. 77, 2, 235–251. DOI: 10.1007/s11192–010–0202–z

Leydesdorff, Loet – Shin, Jung C. (2011): How to Evaluate Universities in Terms of Their Relative Citation Impacts: Fractional Counting of Citations and the Normalization of Differences among Disciplines. Journal of the American Society for Information Science and Technology. 62, 6, 1146–1155. DOI: 10.1002/asi.21511

Papp Zoltán (2012): Miért nem használunk frakcionális mutatókat a tudományos tevékenység értékelésére? Magyar Tudomány. 173, 4, 472–480. • WEBCÍM >

Price, Derek De Solla (1981): Multiple Authorship. Science. 212, 4498, 986. DOI: 10.1126/science.212. 4498.986

Rinia, Ed J. – De Lange, C. – Moed, H. F. (1993): Measuring National Output in Physics: Delimitation Problems. Scientometrics 28, 1, 89-110. DOI: 10.1007/BF02016287

Schubert András – Zsindely S. – Glänzel W. (1982): A tudományos publikációs tevékenység mutatószámai az MTA természettudományi, műszaki, orvostudományi és agrártudományi kutatóhelyein 1976–1980. (A MTAK informatikai és tudományelemzési sorozata 2.) MTAK, Budapest

TUDOSZ (2012): Tudományos és Innovációs Dolgozók Szakszervezete. Magánközlés.

Zolnai László – Berényi Dénes (1989): Kutatóintézeti tudománymetria – ATOMKI 1954–1989. Fizikai Szemle. 39, 8, 285–291.

Zolnai László (1998): Az Atomki Publikációs-Hivatkozási Adatbázisa (APHA). • WEBCÍM >

Zolnai László (2008): A „sötét teljesítmény” nyomában.

Magyar Tudomány. 169, 7, 870–874. • WEBCÍM >

LÁBJEGYZETEK

1 „A publikációk és hivatkozások után járó jó pontokat a fejzetben szereplő szerzők között kell szétosztani, még-pedig (ellentmondó tény hiányában) egyenlő arányban.” <