Magyar Tudomány, 2008/11 1366. o.

Tanulmány



SZELLEM A PALACKBÓL,

TUDOMÁNYMETRIAI ÉRTÉKELÉSEK


Braun Tibor


a kémiai tudományok doktora, c. egyetemi tanár, MTA alelnöki tanácsadó,

ELTE Kémiai Intézet

braun mail . iif . hu


Valószínnek tnik, hogy jelen sorok szerzjérl kevesen hinnék el széles e hazában, hogy elítélen szól a tudománymetria tudományáról. Ezért az alábbiak a címben szerepl szellem palackból való kiszabadulására, kizárólag az értékel tudománymetria hozzá nem ért, hanyag, szakszertlen, st téves igénybe vételére vonatkoznak. Ez utóbbi jelenségre jól illik Max Debrück fizikus, a molekuláris biológia megalapítójának a jelenkori tudománymetriára is érvényes mondása e terület kezdeti állapotáról, miszerint az az „organized sloppiness” (szervezett pongyolaság) állapotában van (volt).

A tudománymetria tudománya jelenleg az információtudomány önálló, kutatási területe. Aki veszi a fáradságot, hogy e terület nemzetközi irodalmába betekintsen, annak a fenti mondat nyilvánvaló (Garfield, 1981; Garfield – Welljams-Dorof, 1992; van Raan, 1988; Moed et al., 2004; Moed, 2005; Braun, 2006; Braun, 2007; Braun, 2008; Lautrup, 2006; Glänzel, 2008). E dolgozatnak nem célja a tudománymetriai tudomány fejldési útjának és fontosságának vázolása. A címben említett szellemszabadulás bizonyítására szerény eszközként két nemrég megjelent közleményt szeretne bemutatni a függelékben, melyek a pongyolaságok meglétét meggyzen bizonyítják.

Az egyik dolgozat szerzje Philip Campbell, a Nature cím nagytekintély folyóirat fszerkesztje, a másik az EASE (European Association of Science Editors) társaság tájékoztatójában (Newsletter) publikált kiáltvány. A fentiekkel kapcsolatban hangsúlyozandó, hogy e dolgozatok nem magát a tudománymetriát, illetve annak egyes mutatószámait (például „impaktfaktor”)1 marasztalják el, hanem azok helytelen és téves alkalmazását. A szellem visszatuszkolására a palackba világszerte erfeszítések folynak. Ezen igyekezetek egyik legjelentsebb forrása a Magyarországon 1978-ban létesített és jelenleg is ott szerkesztett Scientometrics cím havonta megjelen nemzetközi folyóirat.2

Túlzottan optimistának kellene lennünk ahhoz, hogy az elbbi alapgondolatok egybl termékeny talajra hulljanak, és ennek eredményeként az egyéni értékelések helyesebbé váljanak. De abban talán reménykedhetünk, hogy a jövben kutatóktól, egyetemi tanerktl egyre ritkábban kérdezik, hogy „Mennyi az impaktfaktorod?” vagy hogy meg tudod-e mondani a „citációs index”-edet? Mint az itt leírtakból ugyanis kitnik, egyéneknek nincs és nem is lehet impaktfaktoruk, az csak folyóiratoknak van. És egyéni kutatóknak csak idézettségük van, de „citációs index”-ük nincs. Idézettségi indexei csak a Reuters-Thomson-nak (elz neve: Institute for Scientific Information, Philadelphia, USA) vannak, ugyanis ez az a vállalkozás, amelyik összeállítja és publikálja (nyomtatott és elektronikus formában) a Science Citation Index (SCI), Social Science Citation (SSCI) és Arts and Humanities Citation Index (AHCI) idézettségi adatbázisokat. Az SCI-ból épített Web of Science (WOS) a kiindulópontja csaknem minden olyan idézettségi mérésnek, amelybl tudománymetriai mutatók számolhatók (Braun, 2006, 2007).

Amennyiben bárki ragaszkodna az index-típusú idézettségi mutatószámhoz, annak rendelkezésre áll a 2005-ben felfedezett Hirsch-index (Braun, 2008) . Bár ez esetben nem lenne hiba bármelyik kutatótól rákérdezni a Hirsch-indexére, ennek a tudománymetriai mutatószámnak a kizárólagos használata sem ajánlható. Minden egyéni kutatóra vonatkozó értékelés szabatosan csak több mutatószám együttes igénybevételével és peer review-val (szakérti bírálat) kombinálva használandó.

A fentiekben fleg arról esett szó, hogy milyen mutatószámok alkalmazása nem ajánlatos tudománymetriai értékelésnél.

Úgy véljük, dolgozatunk nem lenne teljes, ha nem sorolnánk fel azokat a mutatószámokat, amelyeket a budapesti, leydeni és leuweni tudománymetriai kutatócsoportok dolgoztak ki és használnak, ill. ajánlanak egyének, kutatócsoportok, pályázatok, intézetek és országok tudománymetriai értékelésre (Moed, 2005; Schubert – Braun, 1986). Minthogy a mutatószámok angolul kerültek ismertetésre, az 1. táblázatban angol nyelven is szerepelnek.


Kulcsszavak: értékelés, megbízhatóság, idézettség, impakt faktor, hatástényez


Irodalom

Braun Tibor (ed.) (2006): Evaluations of Individual Scientists and Research Institutions. Part I and II. Scientometrics Guidebooks Series. vol. 1. Akadémiai, Budapest

Braun Tibor (ed.) (2007): The Impact Factor of Scientific and Scholarly Journals. Its Use and Misuse in Research Evaluation, Scientometrics Guidebooks Series, vol. 2, Akadémiai, Budapest

Braun Tibor (ed.) (2008): The Hirsch Index for Evaluation of Science and Scientists. Scientometrics Guidebooks Series. Vol. 3. Akadémiai, Budapest

Garfield, Eugene – Welljams-Dorof, A. (1992): Citation Data: Their Use as Quantitative Indicators for Science and Technology Evaluation and Policy-Making. Sci. Publ. Policy, 19, 321–327.

Garfield, Eugene (1981): Scientometrics Comes of Age. In: Garfield E.: Essays of an Information Scientist. Vol. 4, ISI Press, Philadelphia, 313–341.

Glänzel Wolfgang (2008): Seven Myths in Bibliometrics. About Facts and Fiction in Quantitative Science, Collnet J. Scientom. Inf. Management, 2,

Lautrup, Benny E. (2006): Measures for Measures. Nature. 444, 1003–1004.

Moed, Henk F. – Glänzel, W. – Schmoch U. (eds.) (2004): Handbook of Quantitative Science and Technology Research. The Use of Publication and Patent Statistics in Studies of S & T Systems. Kluwer Academic Publisher, Dordrecht

Moed, Henk F. (2005): Citation Analysis in Research Evaluation. Springer, Dordrecht

Schubert András – Braun Tibor (1986): Relative Indicators and Relational Charts for Comparative Assessment of Publication Output and Citation Impact. Scientometrics. 9, 281.

Scientometrics. An International Journal for All quantitative Aspects of the Science of Science, Communication in Science and Science Policy, Springer, Dordrecht – Akadémiai, Budapest

van Raan, Anthony F. J. (ed.) (1988): Handbook of Quantitative Studies of Science and Technology. North-Holland, Amsterdam


FÜGGELÉK

Philip Campbell

Menekülés az

impaktfaktortól1


A Nature folyóirat fszerkesztjeként aggaszt az akadémiai adminisztrációs berkekben tapasztalható tendencia, hogy egy folyóirat impakt faktorára (IF) fókuszálnak, ha kutatók tudományos közleményeit értékelik. Ez sok esetben kihat az elléptetésekre, az elismertségre és néhány országban minden egyes cikk után járó pénzbeli juttatásra. Saját kutatásaink kimutatják, hogy egy folyóirat magas impaktfaktora néhány nagyon idézett cikk idézettségének ferde eloszlásából eredhet a helyett, hogy a cikkek többségének idézettségi átlaga legyen. Ez természetesen csökkenti azt, hogy az IF egyedi cikkek objektív mértéke legyen.

A javasolt alternatív mutatószámoknak is megvan a saját hátrányuk. Számos kutató arra hivatkozik, hogy a fontos munkáik alacsony IF-ú folyóiratban kerültek publikálásra. Ha az egyedi cikkek idézettségére fókuszálunk, az sokkal megbízhatóbb indikátor lehet az egyedi impaktoknál.

Egyének teljesítményének nyomon követése szempontjából pozitív fejldést jelenthetnek szerzi hozzájárulási nyilatkozatok, és a jövben talán cikkek részeinek idézhetsége a teljes cikkével szemben. Próbálkozások vannak arra, hogy kilépjünk a magas impaktfaktorú folyóiratok hierarchiájából egyenrangúan bírált cikkeket nem megkülönböztet adatbázisok segítségével, mint amilyen a PloS. Idvel kiderül, vajon ez a modell hozzájárul-e kimagasló munkák elismerésére a szerkeszti szelektálástól függetlenül. Habár a jelenlegi rendszer hatékony lehet mind a nemzeti, mind a nemzetközi szintek szerinti minsítésben, a leghatékonyabb és fair analízis egy személy eredményeire vonatkozóan az egyedi cikkek közvetlen értékelésébl eredhet, függetlenül attól, hogy azokat hol publikálták.


Kiáltvány

a hatástényezk (impaktfaktorok)

helytelen használatáról2


A folyóiratok hatástényezjét (impaktfaktorát) azzal a céllal hozták létre, hogy segítségével értékeljék a tudományos folyóiratok hatékonyságát. Alkalmazását idvel kiterjesztették egyedi cikkek és egyedi kutatók minségi értékelésére is. Napjainkban már az impaktfaktorokat figyelembe veszik az akadémiai állások, kinevezések odaítélésénél, támogatott kutatási eredmények értékelésénél, valamint tudományos programok pénzügyi támogatásának megítélésénél.

Az impaktfaktorok azonban nem minden esetben bizonyulnak valós mutatónak folyóiratok minségének mérésére. Használata olyan célokra, amelyre eredetileg nem tervezték, jelents igazságtalanságokhoz is vezethet.

Ezért az Európai Tudományos Szerkesztk Egyesülete azt javasolja, hogy a folyóirat impaktfaktorokat – kell megfontolással – kizárólag csak folyóiratok összehasonlítására és mérésére használják, és nem egyedi cikkek, egyes kutatók vagy kutatási programok értékelésére.

Az impaktfaktor a Gross által javasolt mennyiségi méréshez hasonló a tudományos folyóiratok relatív fontosságának értékelésében. Garfield, E.: Citation Indexes for Science. A New Dimension in Documentation through Association of Ideas. Science. 1955. 122, 3159, 108–111.

Az impaktfaktorok és az idézési gyakoriság értékeinek mérése hasznos lehet mind a speciális, mind az általános (könyvtári folyóirat) gyjtemények optimális összeállításának meghatározásában”. Garfield E.: Citation Analysis As a Tool in Journal Evaluation. Journals Can Be Ranked by Frequency and Impact of Citations for Science Policy Studies. Science. 1972, 178, 60, 471–479.

Miközben az IFS-t (impact-factor score) a folyóiratok értékelésére szánták a szakirodalomban, az IFS-t gyakran használják kutatások eredményeinek végleges hatékonyságának mérésére. Holden G. – Rosenberg, G. – Barker, K. – Onghena, P.: Should Decisions about Your Hiring, Reappointment, Tenure, Or Promotion Use the Impact Factor Score As a Proxy Indicator of the Impact of Your Scholarship? Medscape General Medicine. 2006. 8, 3, 21.

Az angliai Higher Education Founding Council (Felsoktatási Támogatás Tanács) rájött arra, hogy a kutatások értékelésére alapveten tudománytalan utat követett a folyóiratok impaktfaktora használatával a bennük közölt cikkek idézettsége helyett. Smith, P.: Commentary: The Power of the Unrelenting Impact Factor – Is It a Force for Good Or Harm? International Journal of Epidemiology. 2006. 35, 1129–1130.

Az impaktfaktorok elssorban habilitációs célra (illetve a folyóiratok rangsorára) értékelési alapot képeznek az ISI változatlan impaktfaktor listája alapján, amely mindenkor az utolsó kiadástól számított idszakra vonatkozik. A publikációkat felosztják a doktoráns els szerzként és társszerzként való részvétel szerint (a kiértékelés alapját képezik az impakt faktorok, ill. a folyóiratok rangsora az ISI legújabb kiadású impaktfaktor listája alapján. Iránymutatók az egyetemi oktatók minsítéséhez a Bécsi Orvostudományi Egyetemen. Orvostudományi Egyetem, Bécs, 2004.

Németországban a tanszékek támogatásának meghatározásához az egyetemek például rendszeresen alkalmazzák azon folyóiratok impaktfaktorait, amelyekben a kutatók publikálnak. Az Olasz Rákkutatási Egyesület az adatlapokat azon folyóiratok átlagos impaktfaktorának számításával egészíti ki, amelyekben publikációik megjelentek. Finnországban az egyetemi klinikák kormánytámogatása részben publikációs pontok alapján történik, amelyek jelents részben olyan folyóiratok impaktfaktorán alapulnak, amelyekben a kutatók munkájukat közölték. Adam, D.: The Counting House. Nature. 2002. 415, 6873, 726–729.

Minden idézettségi eredményt olyan változók korrigálására kellene használni, mint szakterület idézettségi srség és felezési id. Garfield, E.: The History and Meaning of the Journal Impact Factor. JAMA. 2006. 295, 1, 90–93.

Eltekintve attól, hogy nem reprezentatív, a folyóiratok impaktfaktora hibákkal, technikai és alapvet hibákkal terhelt. Pusztán technikainak tekinthetk a folyóirat impaktok közötti lényeges eltérések. Seglen, P. O.: Why the Impact Factor of Journals Should Not Be Used for Evaluating Research. BMJ. 1997. 314, 7079, 498–502.

Az IFS (impact-factor score) a legjobb elrejelznek bizonyult mind a rövid, mind a hosszú távú impaktokra (folyóiratok esetében). Ha az IFS-t más indikátorokkal együtt használják, az átfogó eltérés mind a rövid, mind a hosszú távú impaktok esetében 13 %-nál kevesebb volt. Holden, G. – Rosenberg, G. – Barker, K. – Onghena, P.: Should Decisions About Your Hiring, Reappointment, Tenure Or Promotion Use the Impact Factor Score As a Proxy Indicator of the Impact of Your Scholarship? (Lásd 3. pont)

Az 1900–2005 között feldolgozott mintegy 38 millió idézett cikkbl csak mintegy 0,5 % kapott kétszáznál több idézetet. Végül is a publikált cikkek felét egyáltalán nem idézték. Az idézetek ferde eloszlása jól ismert az impaktfaktor ismétld kifogásolása révén. Az egyedi cikkek értékelésére a JIF (folyóirat impaktfaktor) használata az elemzett cikkre vonatkozó idézetek száma helyett ersen vitatott kérdés. Pályázatokat mködtet és más tudománypolitikai szervezetek általában igyekeznek figyelmen kívül hagyni azokat a munkákat, amelyek egyedi cikkekre és szerzkre vonatkozó idézettségi számok vizsgálatával foglalkoznak. Ennélfogva a JIF-et használják arra, hogy megbecsüljék az egyedi cikkek idézettségét, ami eléggé kétes, ha tekintetbe vesszük a legtöbb folyóirat esetében megfigyelt és ismert idézettségi aránytalanságot. Garfield, E.: The History and Meaning of the Journal Impact Factor. JAMA. 2006. 295, 1, 90–93.

Finnországban egy egyedi cikk után, amelyet 2-es helyett legalább 3-as impaktfaktorú folyóiratban publikáltak kb. 7000 USD támogatás járt 2000-ben. Adam, D.: The Counting House. Nature. 2002. 415, 6873, 726–729.

A nem idézett cikkek teljes bizalmat kapnak a néhány magasan idézett cikk idézettsége révén, amelyek túlnyomó részben meghatározzák a folyóirat impaktfaktorának értékét. ...Azonban a folyóirat impaktja és az egyedi kutatók vagy kutató csoportok cikkeinek idézettségi aránya közötti korreláció gyakran gyenge… Seglen, P. O.: The Impact Factor of Journals Should Not Be Used for Evaluating Research. BMJ. 1997. 314, 7079, 498–502.


1 Az impaktfaktor elnevezés magyarul hatástényez. Azonban az angolos impaktfaktor Magyarországon közismertté vált, a továbbiakban ezt használjuk.

2 Scientometrics, An International Journal for All quantitative aspects of the Science of Science, Communication in Science and Science Policy. Springer Dordrecht –Akadémiai Kiadó, Budapest


Mutatószám

Rövidített jelölések


Budapesti és leuweni kutatócsoport (Schubert – Braun, 1986)

Leydeni kutatócsoport (Moed, 2005)

Number of papers

(folyóiratcikkek száma)

P

P

Share of uncited

(idézetlen cikkek száma

fo

% Pnc

Share of author self-citation

(önidézett cikkek száma)

S

% SELFCIT

Mean Observed Citation Rate

(cikkek átlagos idézettsége)

MOCR

CPP

Journal-based Expected Citation Rate

(folyóiratok összes cikkének átlagos, várható idézettsége)

MECR

JCSm

Journal-based Relative Citation Rate

(folyóiratcikkek relatív idézettsége)

RCR=MOCR/MECR

CPP/JCSm

Hirsch-index

h

h


1. táblázat • Publikációs és idézettségi mutatószámok




1 Philip Campbell: Escape from the Impact Factor, Ethics in Science and Environmental Politics. Nature. 2008/8. 5. rövidített fordítás


2 EASE Statement on Inappropriate Use of Impact Factors. European Science Editing. 2007/33, 99.



<-- Vissza a 2008/11 szám tartalomjegyzékére


<-- Vissza a Magyar Tudomány honlapra


[Információk] [Tartalom] [Akaprint Kft.]