Magyar Tudomány, 2008/11 1366. o.

Tanulmány


SZELLEM A PALACKBÓL,

TUDOMÁNYMETRIAI ÉRTÉKELÉSEK


Braun Tibor


a kémiai tudományok doktora, c. egyetemi tanár, MTA alelnöki tanácsadó,

ELTE Kémiai Intézet

braun mail . iif . hu


Valószínûnek tûnik, hogy jelen sorok szerzõjérõl kevesen hinnék el széles e hazában, hogy elítélõen szól a tudománymetria tudományáról. Ezért az alábbiak a címben szereplõ szellem palackból való kiszabadulására, kizárólag az értékelõ tudománymetria hozzá nem értõ, hanyag, szakszerûtlen, sõt téves igénybe vételére vonatkoznak. Ez utóbbi jelenségre jól illik Max Debrück fizikus, a molekuláris biológia megalapítójának a jelenkori tudománymetriára is érvényes mondása e terület kezdeti állapotáról, miszerint az az „organized sloppiness” (szervezett pongyolaság) állapotában van (volt).

A tudománymetria tudománya jelenleg az információtudomány önálló, kutatási területe. Aki veszi a fáradságot, hogy e terület nemzetközi irodalmába betekintsen, annak a fenti mondat nyilvánvaló (Garfield, 1981; Garfield – Welljams-Dorof, 1992; van Raan, 1988; Moed et al., 2004; Moed, 2005; Braun, 2006; Braun, 2007; Braun, 2008; Lautrup, 2006; Glänzel, 2008). E dolgozatnak nem célja a tudománymetriai tudomány fejlõdési útjának és fontosságának vázolása. A címben említett szellemszabadulás bizonyítására szerény eszközként két nemrég megjelent közleményt szeretne bemutatni a függelékben, melyek a pongyolaságok meglétét meggyõzõen bizonyítják.

Az egyik dolgozat szerzõje Philip Campbell, a Nature címû nagytekintélyû folyóirat fõszerkesztõje, a másik az EASE (European Association of Science Editors) társaság tájékoztatójában (Newsletter) publikált kiáltvány. A fentiekkel kapcsolatban hangsúlyozandó, hogy e dolgozatok nem magát a tudománymetriát, illetve annak egyes mutatószámait (például „impaktfaktor”)1 marasztalják el, hanem azok helytelen és téves alkalmazását. A szellem visszatuszkolására a palackba világszerte erõfeszítések folynak. Ezen igyekezetek egyik legjelentõsebb forrása a Magyarországon 1978-ban létesített és jelenleg is ott szerkesztett Scientometrics címû havonta megjelenõ nemzetközi folyóirat.2

Túlzottan optimistának kellene lennünk ahhoz, hogy az elõbbi alapgondolatok egybõl termékeny talajra hulljanak, és ennek eredményeként az egyéni értékelések helyesebbé váljanak. De abban talán reménykedhetünk, hogy a jövõben kutatóktól, egyetemi tanerõktõl egyre ritkábban kérdezik, hogy „Mennyi az impaktfaktorod?” vagy hogy meg tudod-e mondani a „citációs index”-edet? Mint az itt leírtakból ugyanis kitûnik, egyéneknek nincs és nem is lehet impaktfaktoruk, az csak folyóiratoknak van. És egyéni kutatóknak csak idézettségük van, de „citációs index”-ük nincs. Idézettségi indexei csak a Reuters-Thomson-nak (elõzõ neve: Institute for Scientific Information, Philadelphia, USA) vannak, ugyanis ez az a vállalkozás, amelyik összeállítja és publikálja (nyomtatott és elektronikus formában) a Science Citation Index (SCI), Social Science Citation (SSCI) és Arts and Humanities Citation Index (AHCI) idézettségi adatbázisokat. Az SCI-ból épített Web of Science (WOS) a kiindulópontja csaknem minden olyan idézettségi mérésnek, amelybõl tudománymetriai mutatók számolhatók (Braun, 2006, 2007).

Amennyiben bárki ragaszkodna az index-típusú idézettségi mutatószámhoz, annak rendelkezésre áll a 2005-ben felfedezett Hirsch-index (Braun, 2008) . Bár ez esetben nem lenne hiba bármelyik kutatótól rákérdezni a Hirsch-indexére, ennek a tudománymetriai mutatószámnak a kizárólagos használata sem ajánlható. Minden egyéni kutatóra vonatkozó értékelés szabatosan csak több mutatószám együttes igénybevételével és peer review-val (szakértõi bírálat) kombinálva használandó.

A fentiekben fõleg arról esett szó, hogy milyen mutatószámok alkalmazása nem ajánlatos tudománymetriai értékelésnél.

Úgy véljük, dolgozatunk nem lenne teljes, ha nem sorolnánk fel azokat a mutatószámokat, amelyeket a budapesti, leydeni és leuweni tudománymetriai kutatócsoportok dolgoztak ki és használnak, ill. ajánlanak egyének, kutatócsoportok, pályázatok, intézetek és országok tudománymetriai értékelésre (Moed, 2005; Schubert – Braun, 1986). Minthogy a mutatószámok angolul kerültek ismertetésre, az 1. táblázatban angol nyelven is szerepelnek.


Kulcsszavak: értékelés, megbízhatóság, idézettség, impakt faktor, hatástényezõ


Irodalom

Braun Tibor (ed.) (2006): Evaluations of Individual Scientists and Research Institutions. Part I and II. Scientometrics Guidebooks Series. vol. 1. Akadémiai, Budapest

Braun Tibor (ed.) (2007): The Impact Factor of Scientific and Scholarly Journals. Its Use and Misuse in Research Evaluation, Scientometrics Guidebooks Series, vol. 2, Akadémiai, Budapest

Braun Tibor (ed.) (2008): The Hirsch Index for Evaluation of Science and Scientists. Scientometrics Guidebooks Series. Vol. 3. Akadémiai, Budapest

Garfield, Eugene – Welljams-Dorof, A. (1992): Citation Data: Their Use as Quantitative Indicators for Science and Technology Evaluation and Policy-Making. Sci. Publ. Policy, 19, 321–327.

Garfield, Eugene (1981): Scientometrics Comes of Age. In: Garfield E.: Essays of an Information Scientist. Vol. 4, ISI Press, Philadelphia, 313–341.

Glänzel Wolfgang (2008): Seven Myths in Bibliometrics. About Facts and Fiction in Quantitative Science, Collnet J. Scientom. Inf. Management, 2,

Lautrup, Benny E. (2006): Measures for Measures. Nature. 444, 1003–1004.

Moed, Henk F. – Glänzel, W. – Schmoch U. (eds.) (2004): Handbook of Quantitative Science and Technology Research. The Use of Publication and Patent Statistics in Studies of S & T Systems. Kluwer Academic Publisher, Dordrecht

Moed, Henk F. (2005): Citation Analysis in Research Evaluation. Springer, Dordrecht

Schubert András – Braun Tibor (1986): Relative Indicators and Relational Charts for Comparative Assessment of Publication Output and Citation Impact. Scientometrics. 9, 281.

Scientometrics. An International Journal for All quantitative Aspects of the Science of Science, Communication in Science and Science Policy, Springer, Dordrecht – Akadémiai, Budapest

van Raan, Anthony F. J. (ed.) (1988): Handbook of Quantitative Studies of Science and Technology. North-Holland, Amsterdam


FÜGGELÉK

Philip Campbell

Menekülés az

impaktfaktortól1


A Nature folyóirat fõszerkesztõjeként aggaszt az akadémiai adminisztrációs berkekben tapasztalható tendencia, hogy egy folyóirat impakt faktorára (IF) fókuszálnak, ha kutatók tudományos közleményeit értékelik. Ez sok esetben kihat az elõléptetésekre, az elismertségre és néhány országban minden egyes cikk után járó pénzbeli juttatásra. Saját kutatásaink kimutatják, hogy egy folyóirat magas impaktfaktora néhány nagyon idézett cikk idézettségének ferde eloszlásából eredhet a helyett, hogy a cikkek többségének idézettségi átlaga legyen. Ez természetesen csökkenti azt, hogy az IF egyedi cikkek objektív mértéke legyen.

A javasolt alternatív mutatószámoknak is megvan a saját hátrányuk. Számos kutató arra hivatkozik, hogy a fontos munkáik alacsony IF-ú folyóiratban kerültek publikálásra. Ha az egyedi cikkek idézettségére fókuszálunk, az sokkal megbízhatóbb indikátor lehet az egyedi impaktoknál.

Egyének teljesítményének nyomon követése szempontjából pozitív fejlõdést jelenthetnek szerzõi hozzájárulási nyilatkozatok, és a jövõben talán cikkek részeinek idézhetõsége a teljes cikkével szemben. Próbálkozások vannak arra, hogy kilépjünk a magas impaktfaktorú folyóiratok hierarchiájából egyenrangúan bírált cikkeket nem megkülönböztetõ adatbázisok segítségével, mint amilyen a PloS. Idõvel kiderül, vajon ez a modell hozzájárul-e kimagasló munkák elismerésére a szerkesztõi szelektálástól függetlenül. Habár a jelenlegi rendszer hatékony lehet mind a nemzeti, mind a nemzetközi szintek szerinti minõsítésben, a leghatékonyabb és fair analízis egy személy eredményeire vonatkozóan az egyedi cikkek közvetlen értékelésébõl eredhet, függetlenül attól, hogy azokat hol publikálták.


Kiáltvány

a hatástényezõk (impaktfaktorok)

helytelen használatáról2


A folyóiratok hatástényezõjét (impaktfaktorát) azzal a céllal hozták létre, hogy segítségével értékeljék a tudományos folyóiratok hatékonyságát. Alkalmazását idõvel kiterjesztették egyedi cikkek és egyedi kutatók minõségi értékelésére is. Napjainkban már az impaktfaktorokat figyelembe veszik az akadémiai állások, kinevezések odaítélésénél, támogatott kutatási eredmények értékelésénél, valamint tudományos programok pénzügyi támogatásának megítélésénél.

Az impaktfaktorok azonban nem minden esetben bizonyulnak valós mutatónak folyóiratok minõségének mérésére. Használata olyan célokra, amelyre eredetileg nem tervezték, jelentõs igazságtalanságokhoz is vezethet.

Ezért az Európai Tudományos Szerkesztõk Egyesülete azt javasolja, hogy a folyóirat impaktfaktorokat – kellõ megfontolással – kizárólag csak folyóiratok összehasonlítására és mérésére használják, és nem egyedi cikkek, egyes kutatók vagy kutatási programok értékelésére.

Az impaktfaktor a Gross által javasolt mennyiségi méréshez hasonló a tudományos folyóiratok relatív fontosságának értékelésében. Garfield, E.: Citation Indexes for Science. A New Dimension in Documentation through Association of Ideas. Science. 1955. 122, 3159, 108–111.

„Az impaktfaktorok és az idézési gyakoriság értékeinek mérése hasznos lehet mind a speciális, mind az általános (könyvtári folyóirat) gyûjtemények optimális összeállításának meghatározásában”. Garfield E.: Citation Analysis As a Tool in Journal Evaluation. Journals Can Be Ranked by Frequency and Impact of Citations for Science Policy Studies. Science. 1972, 178, 60, 471–479.

Miközben az IFS-t (impact-factor score) a folyóiratok értékelésére szánták a szakirodalomban, az IFS-t gyakran használják kutatások eredményeinek végleges hatékonyságának mérésére. Holden G. – Rosenberg, G. – Barker, K. – Onghena, P.: Should Decisions about Your Hiring, Reappointment, Tenure, Or Promotion Use the Impact Factor Score As a Proxy Indicator of the Impact of Your Scholarship? Medscape General Medicine. 2006. 8, 3, 21.

Az angliai Higher Education Founding Council (Felsõoktatási Támogatás Tanács) rájött arra, hogy a kutatások értékelésére alapvetõen tudománytalan utat követett a folyóiratok impaktfaktora használatával a bennük közölt cikkek idézettsége helyett. Smith, P.: Commentary: The Power of the Unrelenting Impact Factor – Is It a Force for Good Or Harm? International Journal of Epidemiology. 2006. 35, 1129–1130.

Az impaktfaktorok elsõsorban habilitációs célra (illetve a folyóiratok rangsorára) értékelési alapot képeznek az ISI változatlan impaktfaktor listája alapján, amely mindenkor az utolsó kiadástól számított idõszakra vonatkozik. A publikációkat felosztják a doktoráns elsõ szerzõként és társszerzõként való részvétel szerint (a kiértékelés alapját képezik az impakt faktorok, ill. a folyóiratok rangsora az ISI legújabb kiadású impaktfaktor listája alapján. Iránymutatók az egyetemi oktatók minõsítéséhez a Bécsi Orvostudományi Egyetemen. Orvostudományi Egyetem, Bécs, 2004.

Németországban a tanszékek támogatásának meghatározásához az egyetemek például rendszeresen alkalmazzák azon folyóiratok impaktfaktorait, amelyekben a kutatók publikálnak. Az Olasz Rákkutatási Egyesület az adatlapokat azon folyóiratok átlagos impaktfaktorának számításával egészíti ki, amelyekben publikációik megjelentek. Finnországban az egyetemi klinikák kormánytámogatása részben publikációs pontok alapján történik, amelyek jelentõs részben olyan folyóiratok impaktfaktorán alapulnak, amelyekben a kutatók munkájukat közölték. Adam, D.: The Counting House. Nature. 2002. 415, 6873, 726–729.

Minden idézettségi eredményt olyan változók korrigálására kellene használni, mint szakterület idézettségi sûrûség és felezési idõ. Garfield, E.: The History and Meaning of the Journal Impact Factor. JAMA. 2006. 295, 1, 90–93.

Eltekintve attól, hogy nem reprezentatív, a folyóiratok impaktfaktora hibákkal, technikai és alapvetõ hibákkal terhelt. Pusztán technikainak tekinthetõk a folyóirat impaktok közötti lényeges eltérések. Seglen, P. O.: Why the Impact Factor of Journals Should Not Be Used for Evaluating Research. BMJ. 1997. 314, 7079, 498–502.

Az IFS (impact-factor score) a legjobb elõrejelzõnek bizonyult mind a rövid, mind a hosszú távú impaktokra (folyóiratok esetében). Ha az IFS-t más indikátorokkal együtt használják, az átfogó eltérés mind a rövid, mind a hosszú távú impaktok esetében 13 %-nál kevesebb volt. Holden, G. – Rosenberg, G. – Barker, K. – Onghena, P.: Should Decisions About Your Hiring, Reappointment, Tenure Or Promotion Use the Impact Factor Score As a Proxy Indicator of the Impact of Your Scholarship? (Lásd 3. pont)

Az 1900–2005 között feldolgozott mintegy 38 millió idézett cikkbõl csak mintegy 0,5 % kapott kétszáznál több idézetet. Végül is a publikált cikkek felét egyáltalán nem idézték. Az idézetek ferde eloszlása jól ismert az impaktfaktor ismétlõdõ kifogásolása révén. Az egyedi cikkek értékelésére a JIF (folyóirat impaktfaktor) használata az elemzett cikkre vonatkozó idézetek száma helyett erõsen vitatott kérdés. Pályázatokat mûködtetõ és más tudománypolitikai szervezetek általában igyekeznek figyelmen kívül hagyni azokat a munkákat, amelyek egyedi cikkekre és szerzõkre vonatkozó idézettségi számok vizsgálatával foglalkoznak. Ennélfogva a JIF-et használják arra, hogy megbecsüljék az egyedi cikkek idézettségét, ami eléggé kétes, ha tekintetbe vesszük a legtöbb folyóirat esetében megfigyelt és ismert idézettségi aránytalanságot. Garfield, E.: The History and Meaning of the Journal Impact Factor. JAMA. 2006. 295, 1, 90–93.

Finnországban egy egyedi cikk után, amelyet 2-es helyett legalább 3-as impaktfaktorú folyóiratban publikáltak kb. 7000 USD támogatás járt 2000-ben. Adam, D.: The Counting House. Nature. 2002. 415, 6873, 726–729.

„A nem idézett cikkek teljes bizalmat kapnak a néhány magasan idézett cikk idézettsége révén, amelyek túlnyomó részben meghatározzák a folyóirat impaktfaktorának értékét. ...Azonban a folyóirat impaktja és az egyedi kutatók vagy kutató csoportok cikkeinek idézettségi aránya közötti korreláció gyakran gyenge… Seglen, P. O.: The Impact Factor of Journals Should Not Be Used for Evaluating Research. BMJ. 1997. 314, 7079, 498–502.


1 Az impaktfaktor elnevezés magyarul hatástényezõ. Azonban az angolos impaktfaktor Magyarországon közismertté vált, a továbbiakban ezt használjuk.

2 Scientometrics, An International Journal for All quantitative aspects of the Science of Science, Communication in Science and Science Policy. Springer Dordrecht –Akadémiai Kiadó, Budapest


Mutatószám

Rövidített jelölések


Budapesti és leuweni kutatócsoport (Schubert – Braun, 1986)

Leydeni kutatócsoport (Moed, 2005)

Number of papers

(folyóiratcikkek száma)

P

P

Share of uncited

(idézetlen cikkek száma

fo

% Pnc

Share of author self-citation

(önidézett cikkek száma)

S

% SELFCIT

Mean Observed Citation Rate

(cikkek átlagos idézettsége)

MOCR

CPP

Journal-based Expected Citation Rate

(folyóiratok összes cikkének átlagos, várható idézettsége)

MECR

JCSm

Journal-based Relative Citation Rate

(folyóiratcikkek relatív idézettsége)

RCR=MOCR/MECR

CPP/JCSm

Hirsch-index

h

h


1. táblázat • Publikációs és idézettségi mutatószámok




1 Philip Campbell: Escape from the Impact Factor, Ethics in Science and Environmental Politics. Nature. 2008/8. 5. rövidített fordítás


2 EASE Statement on Inappropriate Use of Impact Factors. European Science Editing. 2007/33, 99.


<-- Vissza a 2008/11 szám tartalomjegyzékére

<-- Vissza a Magyar Tudomány honlapra

[Információk] [Tartalom] [Akaprint Kft.]