Bevezetés

A kutatók és a tudományos teljesítményméréssel és -értékeléssel foglalkozó szakemberek körében élénk szakmai vita zajlik a tekintetben, miként lehet a legreálisabban megbecsülni és megítélni a kutatói tevékenység eredményeit és tudományos hatását. Csaba László, Szentes Tamás és Zalai Ernő (2014) az uralkodó mennyiségi szemléletet illeti elemző kritikával, Soós Sándor (2014) pedig új értékelési lehetőségeket vázol fel.

E kérdéskör időszerűségét és relevanciáját egyrészről a kutatókra nehezedő többoldalú teljesítménynyomás adja. Másfelől az, hogy jelentős tartalmi, minőségbeli és megbízhatóságbeli differenciálódás következett be a tudományos és egyéb szakmai tartalmú közlemények tekintetében. A forrásállomány dinamikus bővülésével így egyre nehezebb eligazodni kvalitatív szempontból a közlemények között, amelyet a főként online informális, áltudományos és parazita jellegű közlési felületek, dokumentumok jelenléte még inkább fokoz. Mindemellett ugyanakkor a szakkiadók és a nagy tartalomszolgáltató szervezetek online folyóirat és citációs index adatbázisaival egyre hozzáférhetőbbé válik a tudományos forrásállomány és a publikációk felhasználásának nyomon követése. Harmadrészt, a tudományt magas színvonalon és etikusan művelő közösségekben megmaradt, vagy még inkább erősödik az igény olyan értékelési elvek kidolgozására és alkalmazására, amelyek a kutatók teljesítményéről hiteles képet adhatnak.

A fentiekben leírtakhoz illeszkedve e tanulmány célja felhívni a figyelmet arra, hogy a hivatkozások számát és a tudománymetriai hatásindikátorok¹ értékét a publikációk készítése során történő hivatkozás háttere és jellege is számottevően befolyásolja, valamint, hogy a hivatkozással összefüggő kvalitatív tényezőket is szükséges számításba venni a teljesítményértékelés során.

A hivatkozás kvalitatív jellegű tényezőiről

A hivatkozásokat illetően sokkal nagyobb figyelmet kap az, hogy a kutatók hivatkozásokat kapnak, mint az, hogy hivatkozásokat adnak publikációikban. Másfelől, háttérbe szorul, hogy milyen kvalitatív jellemzők, és miként befolyásolják a hivatkozás gyakorlatát. Az alábbiakban a publikációkban történő hivatkozás néhány releváns befolyásoló tényezőjét és jellemzőjét emelem ki. Elsősorban azokat, amelyek jelentős mértékben meghatározzák a kapott hivatkozások jellegét és számát.

Egy kutató tudományos munkája által kiváltott hatás mértéke és a hivatkozások száma jelentősen függ attól, hogy mennyire általános avagy speciális az adott szakterület, amelyen tevékenykedik, valamint hogy hány kutató dolgozik azon. Egy viszonylag átfogó, sokrétű témakörben publikálva, amellyel sokan foglalkoznak, egy kutató hivatkozásainak száma értelemszerűen magasabb lehet, mint azé a hasonló aktivitású kutatóé, aki egy relatíve szűk szakterület mélyreható vizsgálatával foglalkozik. Ebből eredően a művelt szakterület kiterjedtségét is célszerű figyelembe venni egy kutató hivatkozásainak kvantitatív jellegű értékelésekor. Továbbá sokat elárul egy szűk szakterületen működő kutató munkájának valódi hatásáról, hogy az élvonalbeli és más kutatók közül hányan és milyen gyakran használják fel a publikációit, valamint írásainak tartalma mennyiben segítette elő a szakterületen megvalósuló többi kutatást és fejlődést. Így tehát lehetséges, hogy ugyanazon tudományterületet művelő két kutató közül a speciális témával foglalkozó, habár lényegesen kevesebb hivatkozással rendelkezik, munkájával mégis nagyobb hatást váltott ki.

A hivatkozás egyik nemzetközi alapelve, hogy egy publikációban a szerző a kutatási témához és célhoz szorosan illeszkedő, meghatározó és friss eredményeket tartalmazó minőségi közleményeket hivatkozza meg. A nem élvonalbeli kiadóknál és szakfolyóiratokban megjelenő közleményekben azonban tartalmilag gyakran nem szakszerű és következetes a hivatkozás. Ez azt jelenti például, hogy egyes szerzők írásuk, illetve kutatásuk témájához kapcsolódóan nem végeznek (elegendően) alapos, mélyreható és kritikai jellegű irodalomkutatást;² így elsősorban csak a sokat hivatkozott meghatározó művekre, másrészről pedig a viszonylag gyorsan és könnyen fellelhető, azonban nem feltétlenül minőségi és/vagy a vizsgált témához csak marginálisan illeszkedő publikációkra hivatkoznak. Az ilyen közlemények szakirodalmi áttekintéséből többnyire kimaradnak tehát a viszonylag újszerű, releváns eredményeket tartalmazó publikációk – a probléma másik oldalát tekintve: hivatkozástól eshetnek el színvonalas publikációk szerzői; továbbá pedig az az érzése az olvasónak, hogy sokkal megalapozottabb és tartalmilag értékesebb lehetett volna a közlemény a témában releváns minőségi publikációk feldolgozásával és meghivatkozásával. A fentiekben leírt jelenség a tudományos közlésben torzítást okoz, illetve torzító tényezőként hat a hivatkozások tudománymetriai értékelése során. Minthogy az élvonalbeli, illetve magas minőségi kategóriába tartozó kiadóknál és szakfolyóiratokban megjelenő publikációk – amelyekkel szemben a szerkesztők és a lektorok megkövetelik a tudományos igényességgel történő (tartalmi) hivatkozást³ – a tudományos közleményeknek viszonylag kis hányadát teszik ki, ezért a nem szakszerű hivatkozás – a szakmailag kevésbé színvonalas és megbízható kiadók és lapok által közreadott – jelentős számú írásműnél előfordulhat. Természetesen ez nem azt jelenti, hogy egy alacsonyabb kategóriába sorolt szakfolyóiratnál ne jelennének meg szakmai elvek alapján kiválasztott forrásokra hivatkozó, színvonalasan megírt cikkek.

A hivatkozás kontextusával a publikációk kidolgozásának és megszövegezésének, valamint a teljesítménymérés szempontjából is keveset foglalkoznak; Yin Ding és munkatársai (2013) azonban felhívják a figyelmet a tartalomalapú hivatkozáselemzés szükségességére és jelentőségére. Tanulságos lehet egy meghivatkozott közlemény szerzőjének például azt látnia, hogy miként vélekednek mások a nézeteiről, az eredményeiről, illetve hogy miként mozdította előbbre szakterületének kutatásait és fejlődését. Az egyik legalapvetőbb, hogy a hivatkozó írásműben a kontextus tartalmának attitűdje a hivatkozott publikáció tartalmára vonatkozóan pozitív, semleges vagy negatív lehet. A színvonalas közleményekben, ahol a feldolgozott szakirodalom kritikai értékelése, elemzése beépül a tartalomba, általában ritkább a semleges értelmű utalás, mint alacsonyabb nívójú írásművekben. Ennél lényegesebb az, hogy egy kutató hivatkozásainak számbavételekor, különösen hogy az jellemzően tudománymetriai jellegű, nem veszik figyelembe a hivatkozások tartalmának beállítódását; így a negatív tartalmú hivatkozások és a kedvezőtlen kritikákat (is) kapott közlemények is növelik egy kutató szakterületre gyakorolt hatását és pozitívan járulnak hozzá tudománymetriai hatásindikátorainak értékéhez.

Az a másik szemantikai vonatkozás is kevés figyelmet kap, miszerint a hivatkozott forrás tartalma mennyiben járul hozzá a hivatkozó cikk érveléséhez, hozzáadott értékéhez, illetve a közölt (új) kutatási eredmények eléréséhez. E tekintetben, ha a hivatkozott publikációra csak annyiban történik utalás, hogy mely témával foglalkozik, akkor az a hozzájárulás mértéke szempontjából nem tekinthető számottevőnek; amennyiben viszont a hivatkozott publikációban közölt teória vagy újszerű eredmények valóban felhasználásra kerültek, az tartalmi szempontból növeli egy hivatkozás értékét – ez utóbbinak természetesen számos fokozata van.

Az előbbiekhez kapcsolódik a hivatkozások szintaktikai jellege is, amely arra vonatkozik, hogy hol található a hivatkozás a publikációban, annak mely részében. A mondat szintjén megjelenő hivatkozásnál, ha a forrásmegjelölés zárójelbe kerül, akkor kevésbé releváns a szerepe a hivatkozott publikációnak, mint akkor, ha az mondatrészként, közvetlenül az átvett gondolathoz kapcsolódva szerepel a mondatban. Robert A. Day és Barbara Gastel (2008) szerint a hivatkozás e formája előnyösebb és szakszerűbb, mert így pontosan kifejezhető, hogy mit emelünk ki, vagy mire utalunk egy publikáció felhasználása során. Minél nagyobb szerkezeti egységben jelenik meg a hivatkozott publikáció tartalmának értékelése, elemzése, felhasználása, annál nagyobb az általa kiváltott hatás; a szélsőséges esetek közé tartozik például az, amikor egy publikáció teljes egészében egy teória vagy egy másik közlemény elemzését adja, valamint amikor a hivatkozott publikáció újdonságtartalma képezi az alapját, illetve a központi elemét a hivatkozó publikációban ismertetett kutatási eredménynek. Ding és mtsai (2013) elemzésének eredménye alapján a legtöbbet hivatkozott publikációkra a cikkek bevezetőjében vagy szakirodalmi áttekintésében történik a hivatkozás. Úgy vélik, hogy figyelembe kellene venni az egy publikáción belüli többszöri hivatkozást, és azt is, hol történik az ismételt forrásjelölés. Számos tudományterületen azonban a publikációk hivatkozásjegyzékében szereplő forrásokra vonatkozóan nem veszik figyelembe, hogy hányszor történik rájuk hivatkozás a szöveg közben.

A hivatkozáselemzés szempontjából egy további releváns tényező, hogy miért hivatkozik meg egy publikációt egy másik publikáció szerzője. Egy, a kutatási témához és célhoz kapcsolódó, feldolgozásra került publikáció tekintetében a tartalmi elemek értékelésén és a közreadó folyóirat vagy kiadó megítélésén kívül többek közt az is befolyásolja a szerzőt abban, hogy meghivatkozza-e a publikációt, hogy annak ki a szerzője, valamint hogy az mely intézményben és országban tevékenykedik (Kovács, 2013). Az alábbiakban a hivatkozás mögött meghúzódó okokat tekintve egy rendkívül fontos, gyakran azonban elhallgatott tényezőre, a személyközi kapcsolatokra fókuszálok, néhány olyan torzító, illetve nem etikus jelenséget kiemelve, amely nem elfogadható a forrásfelhasználás és a tudományos közlés szempontjából, valamint számottevően demoralizálja a tudományos közlés igényességét és a tudomány előre haladását. A „tiszteletből fakadó” hivatkozás általában akkor fordul elő, amikor egy viszonylag fiatal kutató meghivatkozza a nála idősebb, többnyire ugyanazon intézményben dolgozó ismert és elismert kollégájának egy vagy több publikációját közleményében, még akkor is, ha a két mű témája szorosan nem kapcsolódik egymáshoz, noha ugyanazt a tudomány- vagy szakterületet művelik. Az etikai megközelítésből tekintve ez akkor jelent problémát, ha az idősebb, elismertebb kutató részéről „elvárt” hivatkozásról van szó; amikor például megkívánja a tanszéki, elsősorban fiatal kollégáktól, hogy publikációikban hivatkozzanak rá. Olyan is létezik, hogy akár ki is adja, mely publikációit kell elsősorban meghivatkozni, csak hogy növekedjen valamely tudománymetriai hatás indikátora, például a h-indexe. Nem etikus az a gyakorlat sem, hogy szakmai kapcsolatban álló kutatók, illetve egy intézményen belül dolgozó kollégák, informálisan szervezkedve tudatosan idézik egymást, hogy hivatkozásaik száma növekedjen. Gyakran még akkor is megvalósul a hivatkozás, ha a hivatkozott publikáció kutatási témája nem kapcsolódik szorosan a hivatkozó publikációéhoz. Ennek hátterében a teljesítménynyomás és az előmeneteli törekvések állnak. Török Ádám (2013, 344.) is felhívja a figyelmet a „pozitív összegű játéknak” tekinthető „hivatkozási körök” létezésére, amelyben a résztvevők jelentős előnyhöz juthatnak a hivatkozásaik számát illetően. Akik „kimaradnak a körből”, azok viszont számottevően kevesebb hivatkozással rendelkezhetnek. A teljesítményértékelést végzők többnyire nem vélelmezik, hogy a kapott hivatkozások hátterében esetlegesen az említett jelenség állhat, kivéve, ha közelebbről is ismerik a jelölt szakmai tevékenységét, másfelől pedig nehéz ezt a nem etikus hivatkozási formát bizonyítani.

Nemcsak szerzői körökben, hanem egyes folyóiratok esetében is jelen van az „irányított hivatkozás”, amikor a lektor vagy a szerkesztő burkoltan avagy nyíltan arra kéri a laphoz publikációs célzattal benyújtott kézirat szerzőjét, hogy hivatkozzon meg az adott folyóiratban, a közelmúltban megjelent cikke(ke)t, ha ez nem történt meg. Ez a folyóirat önhivatkozásának⁴ egyfajta tudatos ösztönzését jelenti. Ennek hátterében valójában az áll, hogy a szerkesztőség növelni szeretné a folyóiratra való hivatkozások számát, hogy az impaktfaktor értéke emelkedjen. (Ilyen etikai vétség elkövetése miatt azonban a folyóirat átmenetileg vagy tartósan elveszítheti impaktfaktorát.) Omid Mahian és Somchai Wongwises (2015) három fő formáját különbözteti meg az ilyen jellegű hivatkozásra késztetésnek. Az egyik alapján a szerző számára nem teszik kötelezővé az adott folyóirat cikkeinek meghivatkozását, de közlik, hogy a szakirodalmi áttekintést a témához kapcsolódó, kurrens publikációkkal tovább kellene fejleszteni; ez a megoldás a folyóirat hírnevét nem befolyásolja. A második eset, amikor azért utasít el egy kéziratot a szerkesztő még a lektorálást megelőzően, mert az nem tartozik a folyóirat tárgykörébe; az indoklás pedig az, hogy a kézirat nem vagy nem elegendő számban tartalmaz az adott folyóiratban megjelent cikkekre hivatkozást. Ha a kézirat szerzője azt szeretné, hogy a folyóirat foglalkozzon tanulmányával, akkor szükséges meghivatkoznia néhány cikkét. Még akkor is, ha azok nem kapcsolódnak szorosan a kézirat témájához; a szerző szempontjából ez főként azért jelent problémát, mert a szakirodalmi áttekintést tartalmilag, logikailag megbonthatja a mesterkélt, beerőltetett hivatkozás. Harmadrészt előfordul, hogy a szerkesztő olyan folyóiratokban megjelent cikkek hivatkozását kéri, amelyek nem kapcsolódnak sem a kézirat, sem az adott folyóirat témaköréhez. E mögött rendszerint az áll, hogy a szerkesztő az általa hivatkozandónak megjelölt folyóiratnak is (társ)szerkesztője. Mahian és Wongwises (2015) hangsúlyozzák, hogy amennyiben a szerkesztő olyan cikkek meghivatkozását kéri a kézirat szerzőjétől, amelyek nem kapcsolódnak annak témájához, az nem tekinthető etikusnak, és a folyóirat hírnevének csökkenéséhez vezet.

A folyóirat önhivatkozásától megkülönböztetjük a szerzői önhivatkozást, amely alatt hagyományosan azt értjük, hogy egy szerző publikációjában egy másik, általa írt publikációra hivatkozik – ez értelemszerűen az egyszerzős közleményekre értelmezhető. A szakirodalomban egy másfajta felfogás alapján azt nevezik önidézésnek, amikor a hivatkozó és a hivatkozott publikáció szerzője azonos (Egghe – Rousseau, 1990 In: Carley et al., 2013, 779.); a magyar gyakorlatban, így például a Magyar Tudományos Művek Tára (továbbiakban MTMT) is, ezt függő nevezi. Az ön- vagy függő hivatkozás bizonyos esetekben szükséges és indokolt. Legfőképpen akkor, ha korábbi publikációnkban leírtakat nem szeretnénk megismételni, valamint ha a korábbi publikációnk tartalmára, eredményeire épül rá a készülő. Azzal a szándékkal viszont nem alkalmazható, hogy hivatkozásszerzés céljából felhívjuk a figyelmet a másik publikációinkra is.

Végül meg kell jegyezni, hogy a hivatkozások (össze)gyűjtésének problémakörével keveset foglalkoznak. Csaba László és szerzőtársai (2014, 460–461.) azonban felhívják a figyelmet arra a fontos tényre, hogy nemzetközi viszonylatban, így az MTMT-ben is a hivatkozások fellelésének legfőbb forrásául a nemzetközi online adatbázisokat (például: Web of Science, Scopus) tekintik; ezek viszont csak egy bizonyos folyóirat-, illetve dokumentumkörből gyűjtik a hivatkozásokat – a többit a szerző saját maga gyűjt(het)i. Másfelől lényeges kiemelni, hogy az említett nemzetközi adatbázisok használata csak azoknál a kutatóknál lehetséges, akik (nívós) nemzetközi publikációkkal rendelkeznek; a hazai társadalomtudósoknak így egy viszonylag kis köre tud gyűjteni onnan hivatkozásokat, mivel a tudományterület közlési szokásaiból és követelményeiből adódóan eleve nehéz publikálni olyan nemzetközi folyóiratokban, amelyeket például a Web of Science indexel. (Továbbá kevés olyan, a társadalomtudomány területén tevékenykedő hazai kutató van, akinek a nemzetközi online adatbázisokkal összegyűjthető a hivatkozásainak többsége.) A társadalomtudományokban így többnyire még mindig a kutató szakterületén megjelenő közlemények hivatkozásjegyzékének hagyományos böngészése alapján történik elsősorban a hivatkozások gyűjtése. Ez rendkívül időigényes munka, amely fontos, hogy szisztematikusan történjen, többek közt a kutató által írt publikációk jellemzőinek figyelembevételével.

A hivatkozások keresésére fejlesztett nemzetközi online adatbázisok és rendszerek tartalmának jellege továbbá egyértelműen kifejezi, hogy csak bizonyos típusú dokumentumokban lévő hivatkozások tekinthetők tudományosnak, és vehetők számításba a hivatkozások értékelése során. A hivatkozások kvalitatív megítélése szempontjából emellett releváns, hogy milyen kategóriájú közleményben történik a hivatkozás.

A kapott hivatkozások
néhány tudománymetriai aspektusa

A tudománymetria egyik alapfeltételezése, hogy egy publikáció hivatkozásainak száma az általa kiváltott hatás mértékét tükrözi. Ennek értelmében a több hivatkozás nagyobb tudományos teljesítményre utal. Ezzel összefüggésben Ding és munkatársai (2013) kiemelik, hogy a hagyományos bibliometriai elemzés feltételezi, hogy a hivatkozó publikáció szerzőjét befolyásolta a hivatkozott publikáció szerzője – a hatás erősségével és irányával azonban nem foglalkozik, valamint hogy minden meghivatkozott forrás azonos mértékben járult hozzá a hivatkozó publikációhoz.

Fontos különbséget tenni egy publikáció tudományos hatása és egy publikációra kapott hivatkozások száma között. Utóbbi csak részben tükrözi a publikáció tartalmának tudományszakára gyakorolt hatását, minthogy azt számos más tényező is befolyásolja; úgy, mint például a tudományos hasznosításának lehetőségei, jelentősége vagy az előidézett további kutatások száma, fontossága. Ludo Waltman – Nees Jan van Eck – Paul Wouters (2013) arra hívják fel a figyelmet, hogy a több publikáció és a több hivatkozás nem szükségszerűen jelent nagyobb vagy jobb tudományos teljesítményt; ez különösen érvényes, ha a kutatók munkásságát hasonlítjuk össze, vagy ha például egy publikáció több hivatkozást kapott egy másiknál, az nem feltétlenül váltott ki nagyobb tudományos hatást. Számos véletlen tényező is befolyásolja a publikációkra kapott hivatkozások számát. Így, a fentebb már említett, kevésbé minőségi publikációkban található nem szakszerű hivatkozás. Waltman és társai (2013) modellje arra mutat rá, hogy a véletlen hatások hogyan vezethetnek olyan paradox helyzethez, amelyben egy nagyobb hatást elérő kutató teljesítménye szisztematikusan alacsonyabb, mint a kisebb hatást elérő kutatóké, továbbá hogy a véletlen hatásoknak szisztematikus következményei lehetnek bizonyos típusú bibliometriai mutatók alkalmazása során.

A tudományos munka értékeléséhez számos bibliometriai mérőszámot, pontosabban tudománymetriai hatásindikátort használnak. A h-index (Hirsch, 2005) valószínűleg azért vált rövid időn belül széles körűen elfogadottá és alkalmazottá, mert egy kutató tudományos munkájának produktivitását, vagyis releváns vagy másképpen sokat hivatkozott publikációinak számát, és explicit módon mérhető hatását, vagyis az arra kapott hivatkozások számát, egyetlen mutatóban összegzi, kalkulálása pedig viszonylag egyszerű.

A h-index erősségeit és gyengeségeit számos tanulmányban elemzik, és sok kísérlet történt kifinomultabb változatának kidolgozására is – például az önidézés eliminálásával vagy a többszerzősség kezelésével, hogy minél reálisabban és pontosabban lehessen mérni egy kutató teljesítményét. Ezeknek az alternatív mutatóknak a többsége azonban erősen korrelál a h-indexszel, ami arra utal, hogy azok valójában sok redundáns információt is számításba vesznek (García-Pérez, 2012). A mértékletesen alkalmazott önhivatkozás Lev A. Zhivotovsky és Konstantin V. Krutovsky (2008) szerint rövid távon nem befolyásolja számottevően a h-index értékét, a gyakori önhivatkozás azonban hosszú távon jelentősen növelheti annak nagyságát. Számos kutatóval együtt a mellett érvelnek, hogy a h-index kalkulálása során az önhivatkozások ne kerüljenek beszámításra, hogy ezáltal objektívebben valósulhasson meg a kutató tudományos munkája által kiváltott hatás értékelése.

Miguel A. García-Pérez (2012) arra hívja fel a figyelmet, hogy az azonos h-indexszel rendelkező kutatók esetében jelentős különbségek lehetnek a legidézettebb cikkekre kapott hivatkozások számát, valamint a legkisebb hatást kiváltó cikkre kapott hivatkozások számát illetően. Ezért a kétoldalú h-indexet javasolja, amely a citációs görbe két szélső szakaszát is figyelembe veszi.

A többszerzős publikációk hatásának egyéni teljesítményre való vetítésével viszonylag keveset foglalkoznak. Számos kutató és tudománymetriával foglalkozó szakember, köztük George A. Lozano (2013) arra a teljesítményértékelési „hibára” hívja fel a figyelmet, hogy többszerzős publikációk esetén a kapott hivatkozásokból minden szerző súlyozás nélkül részesedik, vagyis a publikációra kapott összes hivatkozás minden egyes szerző hivatkozási listájában úgy jelenik meg, mintha önálló, azaz egyszerzős publikációjára kapta volna a hivatkozásokat. A kutatók egyéni tudományos munkásságának hatását mérő h-index meghatározása során sem történik súlyozás a többszerzős publikációkra kapott hivatkozásokra vonatkozólag. Mindez pedig ösztönzi a többszerzős publikációk megjelentetését.

A többszerzős publikációk hivatkozásainak számításba vételi problémájához illeszkedve Anne-Vil Harzing (2010) az egyéni h-indexet (hI) javasolja, amely annyiban tér el a Jorge E. Hirsch (2005) által leírttól, hogy minden egyes publikáció esetében az egy szerzőre jutó hivatkozások számával kalkulál, nem pedig a publikációra történő összes hivatkozások számával. Ezáltal kiküszöbölhető, hogy a többszerzős publikációk szerzői aránytalanul nagyobb mértékben részesedjenek a hivatkozásokból, vagyis a többszerzősségből eredő indokolatlan hivatkozástöbblet. Az egyéni h-index alapgondolatánál fogva széles körűen elfogadott mutatószámmá vált, mégis viszonylag ritkán alkalmazott – tekintve például az online adatbázisokat.

Alternatívát jelenthet a HCP⁵-index, amely egy kutató azon publikációinak számát jelenti, amelyek legalább egy bizonyos számú hivatkozást kaptak (Waltman et al., 2013). Attól függően, hogy a sikeres vagy másképpen sokat idézett publikációk vagy szakcikkek, illetve azok számának meghatározása mely bibliográfiai index alapján történik, szignifikáns eltérések figyelhetők meg az azokra kapott összes hivatkozások és az egy publikációra jutó átlagos hivatkozások számát illetően (Kosmulski, 2013, 315.).

Francisco J. Cabrerizo és mtsai (2010) arra mutatnak rá, hogy az indexek csoportosíthatók az alapján, hogy milyen aspektusból mérik a kutató publikációs teljesítményét. Az egyik típusba azok tartoznak, amelyek arról informálnak, hány relatíve sokat hivatkozott publikációja van egy kutatónak; ide sorolható például a h-index (Hirsch, 2005) és a g-index (Egghe, 2006). Az indexek másik körét azok alkotják, amelyek a publikációk által kiváltott hatásokat fejezik ki; ahogy például az m-index (Bornmann – Daniel, 2008), amely a h-index értékét adó publikációk által kapott hivatkozások mediánját jelenti. Az indexeknek e két csoportja jól kiegészíti egymást; az utóbbi csoportba tartozó indexek értékének meghatározása gyakran az előbbi körbe tartozó valamely index értékének alapján történik. Cabrerizo és mtsai (2010) a kvantitatív és a kvalitatív dimenzió egyidejű figyelembevétele mellett az általuk kidolgozott q2-indexet javasolják a kutatói teljesítmény mérésére.

Vinkler Péter (2013) arra hívja fel a figyelmet, hogy az indexek publikációk és hivatkozások számának növekedésére vonatkozó érzékenységének meghatározása és figyelembevétele fontos azok tanulmányozásának, értékelésre való kiválasztásának, valamint alkalmazásának során. Arra mutat rá továbbá, hogy ha csak akár egyetlen hivatkozással is többet kap egy kutató publikációja, akkor egyes tudománymetriai hatásindikátorok értéke számottevően növekedhet; az egyes indexeket tekintve a lehetséges relatív növekedés eltérő, és erősen függ attól, hogy a publikációk mely, illetve mekkora köre alapján történik a kalkuláció. Vinkler (2013) hozzáteszi továbbá, hogy a leggyakrabban használt mutatószám, a h-index azonban nem érzékeny a h publikáció hivatkozásainak emelkedésére. Ehhez a gondolatkörhöz tartozik az a tény is, hogy a különböző online adatbázisok és rendszerek a saját állományukban, illetve a hozzájuk kapcsolt dokumentumkörben keresik a hivatkozásokat, majd ezek alapján kalkulálják a citációs indexeket. Az így számított indexek értékét tehát erősen befolyásolja, hogy mely dokumentumkör alapján történik a hivatkozások feltárása. Az MTMT-nek e tekintetben nagy előnye, hogy ott a szerző teljes publikációs listája és hivatkozásjegyzéke alapján történhet a h-index számítása – amennyiben gondoskodik közleményeinek és az azokra kapott hivatkozásoknak a rendszerben való rögzítéséről. Lényeges továbbá az, ami az MTMT-nél különösen szembetűnő, hogy az indexek értékének meghatározásakor a hivatkozott és a hivatkozó publikációk tekintetében egyaránt csak a tudományos jellegű dokumentumtípusok és a tudományos tartalmú munkák kerülnek beszámításra.

Lutz Bornmann és Hans-Dieter Daniel (2010) szerint egy publikáció tudományos hatását nemcsak a hivatkozások száma határozza meg, hanem az is, hogy milyen gyorsan kezdenek el rá hivatkozni – tükrözve az új eredmények, ismeretek elterjedését; ennek alapján egy hivatkozás gyorsasági indexet javasol. A probléma az ilyen aspektusú indexekkel meglátásom szerint az, hogy nem veszik figyelembe, bizonyos szakfolyóiratoknál például a lektorálási folyamat hosszú időt vehet igénybe, és a kézirat elfogadásának időpontjától is viszonylag hosszú idő telhet el annak megjelenéséig; mindez pedig számottevően késleltetheti a hivatkozások időbeni megjelenését. Hasonlóképpen torzító tényezőként van jelen a kézirat elutasításából származó időveszteség; amikor a szerzőnek nem az elsőként megcélzott folyóiratban sikerül publikálnia tanulmányát, és ezáltal későbbre tolódik a hivatkozások nyilvános megjelenése, még ha viszonylag gyorsan reagáltak is a szakterület kutatói a hivatkozott publikációra.

A szakfolyóiratcikkek többségét megjelenésüket követően rövid időn belül hivatkozni kezdik, általában megjelenésük után két–öt évvel kapják a legtöbb hivatkozást, majd ezt követően csökken a rájuk való hivatkozások száma. Létezik azonban számos olyan cikk is, amely a megjelenését követően viszonylag hosszú ideig nem, vagy alig kap hivatkozást, és csak később válik idézetté (delayed recognition); ezen cikkek esetében nem figyelhető meg a citációk számát illetően csúcsosodás, hanem amint – viszonylag sokára – elkezdik őket idézni, már csökken is az évenkénti idézések száma. A legtöbbet idézett cikkekre (highly cited papers from the start) pedig az jellemző, hogy folyamatosan növekszik az idézettségük (Lachance – Larivière, 2014).

Végül két mutatót említek meg röviden, amelyek kötődnek a hivatkozáshoz, ám nem alkalmazhatóak sem egy kutató, sem egy publikáció idézettségének megállapítására és értékelésére, valamint a szakterületre gyakorolt hatás megítélésére. Az egyik az impaktfaktor, amely a szakfolyóiratokra vonatkozó hatástényező; több tekintetben egyetértek Csaba László, Szentes Tamás és Zalai Ernő (2014) impaktfaktorra vonatkozó kritikájával. A másik egy fiatalabb, mindössze néhány éves múltra visszatekintő index, az Altmetric, melynek célja egy közlemény digitális hatásának mérése, összegyűjtve minden olyan online felületről az adott publikációra való említéseket,⁶ ahol a kutatók és bárki más (újságírók, laikusok stb.) kommunikálnak a tudományról vagy másról – utalva tudományos közleményekre. Ennek alapján közösségi oldalakról, blogokról, online magazinokból és számos más online felületről gyűjtik szisztematikusan az említéseket (Altmetric, 2015). Ez a mutató jól érzékelteti, mennyire foglalkoztatja a digitális világban aktív szakembereket és laikusokat egy-egy közlemény tartalma; a kiváltott tudományos hatás becslésére azonban nem alkalmazható.

Záró gondolatok

Összegzés helyett, a fent leírtak tükrében, végül egyrészről azt szeretném hangsúlyozni, hogy a publikációk készítése során a hivatkozás tekintetében a tudományos igényesség és az etikusság szem előtt tartása elsődleges fontosságú. Másrészről pedig lényeges, hogy a kutatói tevékenység tudományos hatásának értékelése ne kizárólag a hivatkozások számán vagy egy-egy tudománymetriai hatás indikátorértékén alapuljon, hanem a teljesítményértékelés céljához illeszkedően, a szak- és témaspecifikus jellemzők figyelembevételével, több szempont és index alkalmazásával, valamint kvalitatív tényezők bevonásával történjen.
 

Köszönetemet fejezem ki Bélyácz Iván akadémikus tanácsaiért, kritikai megjegyzéseiért.
 

A jelen tudományos közleményt a szerző a Pécsi Tudományegyetem alapításának 650. évfordulója emlékének szenteli.
 

Kulcsszavak: hivatkozás, idézés, tudománymetria, bibliometria, h-index, tudományos hatás, teljesítményértékelés
 

IRODALOM

Altmetric (2015): Article Level Metrics. • WEBCÍM

Bornmann, Lutz – Daniel, Hans-Dieter (2010): The Citation Speed Index: A Useful Bibliometric Indicator to Add to the h Index. Journal of Informetrics. 4, 3, 444–446. DOI: 10.1016/j.joi.2010.03.007 • WEBCÍM

Bornmann, Lutz – Mutz, R. – Daniel, H-D. (2008): Are There Better Indices for Evaluation Purposes than the h Index? A Comparison of Nine Different Variants of the h Index Using Data from Biomedicine. Journal of the American Society for Information Science and Technology. 59, 5, 830–837. DOI: 10.1002/asi.20806 • WEBCÍM

Cabrerizo, Francisco J. – Alonso, S. – Herrera-Viedma, E. – Herrera, F. (2010): q2-Index: Quantitative and Qualitative Evaluation Based on the Number and Impact of Papers in the Hirsch Core. Journal of Informetrics. 4, 1, 23–28. DOI: 10.1016/j.joi.2009. 06.005 • WEBCÍM

Carley, Stephen – Porter, A. L. – Youtie, J. (2013): Toward a More Precise Definition of Self-Citation. Scientometrics. 94, 2, 777–780. DOI: 10.1007/s11192-012-0745-2

Csaba László – Szentes T. – Zalai E. (2014): Tudományos-e a tudománymérés? Megjegyzések a tudománymetria, az impaktfaktor és az MTMT használatához. Magyar Tudomány. 175, 4, 442–466. • WEBCÍM

Day, Robert A. – Gastel, Barbara (2008): How to Write and Publish a Scientific Paper. (6th ed.) Cambridge University Press, Cambridge

Ding, Ying – Liu, X. – Guo, C. – Cronin, B. (2013): The Distribution of References across Texts: Some Implications for Citation Analysis. Journal of Informetrics. 7, 3, 583–592. DOI: 10.1016/j.joi.2013. 03.003 • WEBCÍM

Egghe, Leo (2006): Theory and Practice of the g-index. Scientometrics. 69, 1, 131–152. • DOI: 10.1007/s11192-006-0144-7

García-Pérez, Miguel A. (2012): An Extension of the h Index that Covers the Tail and the Top of the Citation Curve and Allows Ranking Researchers with Similar h. Journal of Informetrics. 6, 4, 689–699. DOI: 10.1016/j.joi.2012.07.004
Harzing, Anne-Wil (2010): The Publish or Perish Book: Your Guide to Effective and Responsible Citation Analysis. Tarma Software Research Pty Ltd, Melbourne

Hirsch, Jorge E. (2005): An Index to Quantify an Individual’s Scientific Research Output. Proceedings of the National Academy of Sciences of USA. 102, 46, 16569–16572. DOI: 10.1073/pnas.0507655102 • WEBCÍM

Kosmulski, Marek (2013): Family-tree of Bibliometric Indices. Journal of Informetrics, 7, 2, 313–317. DOI: 10.1016/j.joi.2012.12.002 • WEBCÍM

Kovács Kármen (2013): Kutatási és publikálási kézikönyv nem csak közgazdászoknak. Akadémiai, Budapest

Lachance, Christian – Larivière, Vincent (2014): On the Citation Lifecycle of Papers with Delayed Recognition. Journal of Informetrics. 8, 4, 863–872. DOI: 10.1016/j.joi.2014.08.002

Lozano, George A. (2013): The Elephant in the Room: Multi-authorship and the Assessment of Individual Researchers. Current Science. 105, 4, 443–445. • WEBCÍM

Mahian, Omid – Wongwises, Somchai (2015) Is It Ethical for Journals to Request Self-citation? Science and Engineering Ethics. 21, 2, 531–533 DOI: 10.1007/s11948-014-9540-1

Soós Sándor (2014): Új lehetőségek kutatók tudományos értékelésében. [konferencia-előadás] Elhangzott: „A tudomány értéke, az értékelés tudománya”: A kutatói munkásság tudománymetriai értékelése c. konferencián. 2014. április 1. MTA, Budapest • WEBCÍM 

Török Ádám (2013): „Levelled or Tilted Playing Field?” Közgazdasági Szemle. 60, 3, 432–351. • WEBCÍM

Vinkler, Péter (2013): Would It Be Possible to Increase the Hirsch-index, π-index or CDS-index by Increasing the Number of Publications or Citations Only by Unity? Journal of Informetrics. 7, 1, 72–83. DOI: 10. 1016/j.joi.2012.08.001 • WEBCÍM

Waltman, Ludo – van Eck, N. J. – Wouters, P. (2013): Counting Publications and Citations: Is More Always Better? Journal of Informetrics. 7, 3, 635–641. DOI: 10.1016/j.joi.2013.04.001

Zhivotovsky, Lev A. – Krutovsky, Konstantin V. (2008): Self-citation Can Inflate h-index. Scientometrics. 77, 2, 373–375. DOI: 10.1007/s11192-006-1716-2 • WEBCÍM
 

LÁBJEGYZETEK

1 Scientometric impact indicators. <

2 Erről részletesen lásd Kovács Kármen (2013). <

3 Például azzal, hogy a lektor esetenként olyan, a kézirat témájához szorosan kapcsolódó publikációkat javasol a szerző számára, amellyel továbbfejlesztheti, értékesebbé teheti írásművét; emellett az is előfordul, hogy a lektor az általa gyenge minőségűnek tekintett vagy a kézirat témájához szorosan nem kapcsolódó hivatkozások forrásait kiveteti az átdolgozásra javasolt munkából. <

4 Az angol journal self-citation magyar elnevezése. <

5 Highly cited publications index. <

6 E mutató esetében tudatosan használom az említés kifejezést, mivel nem beszélhetünk tudományos értelemben vett hivatkozásról. <