atomki . hu
A „sötét teljesítmény”1
nyomában
Zolnai László
a fizikai tudomány kandidátusa, tudományos fõmunkatárs
MTA Atommagkutató Intézet
zolnai atomki . hu
Ennek az írásnak az apropóját az adja, hogy a legutóbbi idõben tudományos közéletünkben vita bontakozott ki a publikációs teljesítmények társszerzõszámmal való beosztásáról (lásd: Horváth, 2008; Végh, 2008). A vita egyik oldalán a soktársszerzõs publikációk birtokosai, a másik oldalán publikációikat kevesebbedmagukkal jegyzõk állnak. A beosztás mûveletét korábbi írásainkban (Zolnai – Berényi, 1989; Zolnai – Gácsi, 1998) vetettük fel, illetve tettünk kísérletet egy hazai intézet esetére való alkalmazásra, és ott meg is indokoltuk.2 Mivel a cikkeinket követõ vitában (Vinkler, 1999; Zolnai – Gácsi, 1999) a beosztás mûveletét érdemi kritika nem érte, így ezt mint bevett szokást kezeljük (a témakör friss áttekintését lásd Gauffriau et al., 2007). Ezen eljárásunkat látjuk igazolva abban a tényben, hogy több diszciplína hasonló módon jár el a publikációs tevékenység értékelésében.3
Az elõbb említett eljárás a fizika területén elsõsorban a sokrésztvevõs együttmûködésekben dolgozókat (ezen együttmûködések egyéb problémáit lásd Z. Karvalics, 2008), azok közül is leginkább a kísérleti részecskefizikusokat érinti. A jelen írásban elsõsorban az õ szemszögükbõl szemlélve szeretnék erre a tudományos teljesítmény értékelésével kapcsolatos problémára megoldást vázolni. Gondolatmenetem részben támaszkodik egy korábbi cikkemben (Zolnai, 2001) írottakra.
Egy hazai, kutatás- (tudományos teljesítmény?) értékelési metódustól – több, más kritériumon kívül – elvárjuk, hogy illeszkedjen a nemzetközi trendekhez (közel azonos fogalmakkal operáljon) és valamilyen módon összhangban legyen az intézményi, kutatási téma és egyéni szinten. Ezen belül, ha az eljárást az MTA mûködteti (rendszeres anyagiakkal járó, egyéni értékelést gyakorlatilag csak az MTA végez), az is elvárható, hogy az értékelés munka- (tudomány-?) területtõl függetlenül nagyjából egyenlõ esélyeket nyújtson a kimagasló teljesítményekkel pályázók számára (Papp, 2004a-b, 2005; Tóth, 2008). Fontos szempont az is, hogy az értékelésnek legyen anyagiakban mérhetõ következménye.
Hogy témánkhoz közelebb jussunk, definiálni kell az „akadémiai teljesítményt”, amelyet tapasztalatainkra támaszkodva4 és a teljesség igénye nélkül, a következõképpen tehetünk meg: akadémiai teljesítmény (AT) = (hazai és külhoni5) publikációipari tevékenység (PIT) + alkotói teljesítmény + oktatási teljesítmény, iskolateremtés + bel- (társadalom-, védelmi stb.) politikai hozadék + kül- (nemzet- stb.) politikai hozadék6 + MTA-szervezetben végzett tevékenység + gazdaságossági szempontok + infrastrukturális ellátottság + (stb.).
Hogy szemléltessük a kísérleti részecskefizikusok problémáját, valamint hogy érzékeltessük azt a légkört, amelyben ez a probléma jelentkezik, vizsgáljuk meg egy következményekkel járó, a gyakorlatban már alkalmazott intézetértékelõ eljárás szerkezetét.
1996-ban az MTA természettudományi intézeteit több formulát alkalmazva is megpróbálták értékelni.7 Ezek a formulák lényegileg egyformák voltak – mind egy pontszámban próbálta összesíteni az intézetek „teljesítményét”. Egyiküket ismertetjük, amelynek nagy hatása volt az intézetek besorolásában.
Az intézetektõl az 1992–95-ös idõszakra vonatkozó különbözõ teljesítménymutatókat kértek. Ezek közül a formulában végül is szereplõ tagok8 definíciói a következõk voltak:
• a1,int az adott idõszakban egy intézeti kutatóra évenként esõ publikációszám átlaga
• a2,int az adott idõszakban egy intézeti kutatóra évenként esõ idegen nyelven megjelent publikációk számának átlaga
• a3,int az adott idõszakban egy intézeti kutatóra évenként esõ SCI-folyóiratokban9 megjelent publikációk számának átlaga
• a4,int az adott idõszakban évenként megjelent publikációk hatástényezõinek10 (impaktfaktorainak) összege osztva az SCI-cikkek illetõ évbeli számával, átlagolva az adott idõszakra
• a5,int az a4,int osztva h-val, ahol h a tudományterület folyóiratainak átlagára jellemzõ, átlagos hatástényezõ (az intézetek által megadott „tevékenységi spektrumból” az MTA Kutatásszervezési Intézete számolta ki)
• a6,int az intézeti kutatóévenkénti idézetszám, (a 1982–95 között megjelent publikációkra vonatkozó, 1992–95-ben évenként megjelent független SCI-idézetszám, osztva az illetõ intézet kutatóinak évenkénti átlaglétszámával, átlagolva az 1992–95-ös idõszakra)
• a7,int az adott idõszakban nemzetközi együttmûködésben készült publikációk száma11 osztva az összes publikáció számával
• a8,int az adott idõszakban bejelentett szabadalmak száma osztva az intézeti kutatók számával
• a9,int az adott idõszakban idegen nyelven megjelent publikációk száma osztva az MTA-támogatás összegével (M Ft-ban)
• a10,int az adott idõszakban találmányok értékesítésébõl befolyt összeg osztva az intézeti kutatók számával
• a11,int az intézetben tudományos minõsítéssel rendelkezõk száma osztva az intézeti kutatók számával.
A mutatók közül talán leginkább hiányolható valamilyen „relatív tõkeellátottsággal” kapcsolatos mérõszám. A kutatóintézetek által elért pontértéket a fenti mutatók egyszerû súlyfaktorokkal képzett összege12 adta.
A mutatók nagy többsége láthatóan a PIT-tel kapcsolatos, bár nyomokban elõfordulnak az AT más összetevõivel kapcsolatos mutatók is (a2,7-11,int8). A PIT nagy szerepe miatt (a természettudományos osztályok gyakorlata is ezt mutatja) a publikációs tevékenységmutatók társszerzõk számával való beosztása jelentõs diszkriminációt jelent az érintettek számára (mint ahogy a be nem osztás a többiek számára13), különösen egy olyan szûkebb szakmai körben, amely szinte fetisizálja a PIT-et. Ennek hatása tovagyûrûzik a PhD elõtt állókra, a Bolyai-ösztöndíjasokra stb. Ilyen esetben mit tehetnek kísérleti részecskefizikus kollégáink, akik úgy érezhetik, hogy teljesítményük a semmibe vész? Hivatkozniuk kell az AT egyéb elemeire (nem fontossági sorrendben):
• olyan fontos kutatások végzésének lehetõségére, amelyet a hazai infrastruktúra hiánya nem tesz lehetõvé,
• a kutatás alkotás jellegére, minthogy a kísérleti részecskefizikai kutatások nagyarányú fejlesztõmunkát jelentenek,
• a nemzetközi kapcsolatok fejlesztésének lehetõségére,
• a hazai technológiai kultúra fejlesztésének14 lehetõségére,
• a várható eredmények jelentõségére,
• a nagy kollaborációk mûködésének biztosítására fordított szervezõi tevékenységben szerzett tapasztalatokra.
Természetesen ez nem egyszerû feladat, jelentõs PR-tevékenységet tesz szükségessé, amelynek módszerei egy külön tanulmányt igényelnének.
Kérdés, hogy a mindenkori kutatásértékelési gyakorlat hogyan tud a fentebb vázolthoz hasonló konfliktusokon úrrá lenni. Nemzetközi és kutatási témaértékelési szinten a többcsatornás pályáztatás enyhíti a gondokat. Egyéni szinten azonban még nem látszik eldöntöttnek a követendõ eljárás minémûsége. A triviális megoldáson túl az egyik lehetõség a minél specifikusabb bizottsági és szabályozási15 rendszer, amely aprózódásának – és ezzel együtt érdekérvényesítési képességének – határt szab az illetõ tudományterület kis létszáma. A másik lehetõség – amint a 80-as években felmerült – a fenti problémáknak egy „interdiszciplináris” osztályon belüli kezelése. A harmadik – és úgy látszik, a leginkább megvalósuló út, az ügyek „rugalmas” kezelése16,17, ami szükségszerûen jár az értékelésbe bevont fogalmak „kiüresedésével”.18
A folyamatok kimenetelére döntõ hatással lesz, hogy mennyire sikerül az adott értékelési rendszernek az adott közösség érdekviszonyainak megfelelni a gyorsan változó külsõ körülmények közepette.
Kulcsszavak: kísérleti részecskefizika, kutatás, kutatásértékelés, nemzetközi együttmûködés, tudománymetria
IRODALOM
Gauffriau, Marianne et al. (2007): Publication, Cooperation and Productivity Measures In Scientific Research. Scientometrics. 73, 173–214.
Horváth Dezsõ (2008): A száz legidézettebb természetkutató. Heti Válasz. Fizinfo. 2008. január 24.
Papp Zoltán (2004a): A tudományos teljesítmény mérésének problémáiról. Magyar Tudomány. 49, 232–240.
Papp Zoltán (2004b): Válasz Braun Tibornak. Magyar Tudomány. 49, 532–533.
Papp Zoltán (2005): Az egyetemi oktatók elõmeneteli rendszerének problémáiról. Magyar Tudomány. 50, 325–332.
Tóth József (2008): A magyar tudománypolitika hibái. Magyar Tudomány. 53, 215– 220.
Végh János (2008): A száz legidézettebb természetkutató. Heti Válasz. Fizinfo. 2008. január 31.
Vinkler Péter (1999): Bírálunk, de hogyan? Egy kritika margójára. Magyar Tudomány. 44, 94–97. http://w3.atomki.hu/~zolnai/news/ekm/ekm1.htm
Z. Karvalics László (2008): Az adatsilóktól a tudomány kontrollforradalmáig. Magyar Tudomány. 74, 352–363.
Zolnai László – Berényi Dénes (1989): Kutatóintézeti tudománymetria – ATOMKI 1954–1989. Fizikai Szemle. 39, 285–291.
Zolnai László – Gácsi Zoltán (1998): Egy formula margójára – Mérünk, de mit? Magyar Tudomány. 43, 988–993. http://w3.atomki.hu/~zolnai/news/a4/article4.htm
Zolnai László – Gácsi Zoltán (1999): Válaszolunk, de mire? Magyar Tudomány. 44, 488–-489. http://w3.atomki.hu/~zolnai/news/a6/article6.htm
Zolnai László (2001): Tudománymetria és kollaboráció. Fizikai Szemle. 51, 264–265. http://w3.atomki.hu/~zolnai/news/DENESH.HTM
1 A fizika jelenlegi állása szerint a Világegyetem ismert tulajdonságainak egyik magyarázata az lehet, hogy feltételezzük a világegyetem nagy részét alkotó jelenlegi eszközeinkkel nem észlelhetõ „sötét anyag” és „sötét energia” létezését. Ehhez hasonlóan a jelen cikkben írtak is inkább egy spekulatív gondolatmenet részének tekintendõk, mint tényállításoknak.
2 A társszerzõk számával való beosztást az indokolja, hogy így biztosítható a társzerzõk által „elszámolt” publikációs hivatkozási mennyiségek állandó volta, egyszerûbben, hogy egy publikáció vagy egy hivatkozás csak egy maradjon bármilyen összegzésben, vagyis az összeszámlálás mûvelete additív legyen. (Ez az eljárás csak egy a lehetséges additív eljárások közül. A legmegnyugtatóbb a társszerzõkhöz rendelt százalékos részvétel lenne, amely kezelésére az MTA Köztestületi Publikációs Adattár – KPA – már lehetõséget nyújt.) A „beosztással” analóg probléma lép fel az elszámolandó alapegységek (publikációk, hivatkozások stb.) országok és intézetek közti szétosztására nézve. Ez ugyanúgy kutatásispektrum-függõ, mint az egyénre jutó saját rész.
3 A teljesség igénye nélkül három példa: Az MTA Kémiai Osztályának régebbi, a Mûszaki Osztály jelenlegi Doktori Szabályzata, a Debreceni Egyetem Matematikai és Számítástudományi Doktori Iskolájának követelményrendszere a PhD-fokozatra pályázók számára.
5 A hazai, ill. külföldön elkövetett publikációk megkülönböztetésére lásd az Orvosi Osztály régebbi Doktori Szabályzatát. Hasonló különbségtétel tárgya lehet, hogy melyik munkáltatónál számolják el az illetõ PIT-et (l.: MTA Tudományos Publikációs Adattár szabályzatát).
6 Jól mutatja ennek a tagnak a jelentõségét, hogy hosszú ideig az OTKA-ûrlap elsõ oldalán – a téma kifejtését megelõzõen, a nemzetközi együttmûködésben való részvételre vonatkozó kérdés szerepelt.
7 Az, hogy a társszerzõk számával való beosztás nem idegen a hazai evaluatív tudománymetriától, az is mutatja, hogy egy elõzõ, 1992-es értékelés elsõ szakaszában még társszerzõszámmal beosztott mutatókat kértek.
8 Az intézetektõl más teljesítménymutatókat is kértek, például az egyetemi oktatásban tartott órák számát, az intézetekben készült PhD-disszertációk számát stb. Ezeket – a rossz kérdésfeltevésbõl eredõ „értékelhetetlen” válaszok miatt – nem vonták be az értékelésbe.
9 Science Citation Index, az Institute for Scientific Information, Philadelphia által kiadott mutató, amely a világ legjelentõsebb természettudományos folyóirataiban megjelent hivatkozások adatait tartalmazza. SCI-folyóiratok mindazok a folyóiratok, amelyeket az SCI nyomon követ.
10 A hatástényezõket az SCI évente számolja ki a benne szereplõ folyóiratokra. Egy folyóirat n-edik évi hatástényezõje egyenlõ a folyóiratban n-1. és n-2. évben megjelent közleményekre az SCI-ben az n-1 és n-2. évben fellelhetõ hivatkozások száma osztva a folyóiratban n-1. és n-2. évben megjelent közlemények számával. Ily módon a hatástényezõ az adott folyóiratban megjelent egy közleményre várható SCI-hivatkozások számára ad relatív becslést. Mivel a hatástényezõ egy olyan sokaságon vett átlag, amely lényegesen szélesebb, mint az egy intézetbõl publikált cikkek halmaza, ezért véleményem szerint csak a közelmúltban megjelent közlemények hatásának figyelembevételére célszerû használni.
11 Nem tagadva, hogy a nemzetközi együttmûködésnek jelentõs szinergikus hatásai lehetnek, a nemzetközi együttmûködés sok esetben egyszerû bérmunkát takar. A nemzetközi együttmûködés önmagában is vonzó anyagilag, annak erõltetése sokszor „forráskivonással” jár fõleg a hazai infrastruktúra-fejlesztés területén.
12 Kérdéses, hogy a mutatók lineáris kombinációjánál bonyolultabb formulát érdemes-e alkalmazni.
A lineáris kombinációs formula alkalmazására példaként megemlítjük a kórházi ágyszámok elosztására, vagy a állami ösztöndíjas PhD-helyek elosztására vonatkozó formulát.
13 A tapasztalat azt mutatja, hogy a nagy kollaborációk idõegységre esõ publikációinak és hivatkozásainak száma jelentõsen nõ a kevés társszerzõs együttmûködésekhez képest, de közel sem annyira, hogy ellensúlyozni tudná a társszerzõk számának növekedését.
14 Erre utal, hogy a CERN-tagdíjat az NKTH fizeti, az MTA-nak úgy látszik, nem eléggé „tudományos” a részecskefizikai kutatás.
15 Mondandónkkal kapcsolatos legkülönösebb termék a „lemondó nyilatkozat”; beszerzése pár száz társszerzõ esetén kicsit nehézkes, ám ha külföldiektõl nem kell beszerezni, az eljárás enyhén szólva következetlen.
16 A Fizikai Osztályon a „kandidátusi korszak” vége felé már lejátszódott egy hasonló folyamat, lehetett fokozatot szerezni nukleáris elektronika, vákuumtechnika, szoftverfejlesztés stb. tárgykörbõl. Legutóbbi idõben sor került lényegében szoftverfejlesztésen alapuló MTA doktora cím adományozására.
17 Érdekes jelenség, hogy míg az MTA doktora cím – amely az egyetemi tanári kinevezések feltétele is – adományozásánál az osztályok megpróbálkoznak – amúgy igen változatos – követelményrendszerek felállításával, a jóval nagyobb anyagi juttatással járó akadémiai tagság esetében megelégednek a jóval több szubjektív elemet megengedõ (az AT tágabb értelmezésén alapuló) egyszerû választási procedúrával.
18 Vajon egyes esetekben mit jelent a „nemzetközileg ismert kutató” vagy „iskolateremtõ munkásság”? Ezeket a terminus technicusokat meg kellene hagyni a kitüntetések, díjak adományozására. Egy-egy mutatónak jellemzõ sorsa, hogy egyre lazább értelmezést kap.
<-- Vissza a 2008/07 szám tartalomjegyzékére
<-- Vissza a Magyar Tudomány honlapra
[Információk] [Tartalom] [Akaprint Kft.]