|
|
Bevezetés
A hazai kutatásértékelési gyakorlatban a mai napig jelentős
szerepet játszik a folyóirat-mérőszámok használata. Az elmúlt
évtizedekben a közismert és sokáig egyeduralkodó, a Journal
Citation Reports által rendszeresen közzétett impaktfaktor
(Journal Impact Factor1)
alkalmazása terjedt el az akadémiai szférában. A mérőszámot,
illetve legtöbb alkalmazásának módját (például egyéni
teljesítmény értékelésében, aggregáltan stb.) egyrészt sokrétű
szakmai kritika övezi, másrészt azonban felhasználása szervesen
beágyazódott a különböző döntéshozatali fórumok adminisztratív
gyakorlatába (lásd az MTA doktori szabályzata(i)t vagy az OTKA
bírálati rendszerét). Részben ennek tulajdonítható, hogy a
Magyar Tudományos Művek Tára (MTMT) működésében a közelmúltban
bekövetkezett változás, amely az IF-szolgáltatást, pontosabban a
közleményekhez tartozó impaktfaktor közzétételét érinti, szintén
széles körű vitát váltott ki. A változás lényege, hogy az MTMT
az impaktfaktort az ún. SciMago Journal Rank (SJR) mérőszámmal
„helyettesítette” (abban az értelemben, hogy nyilvános felületén
ezt teszi közzé). Az átállás egyik legfontosabb indoka, hogy az
SJR nyíltan hozzáférhető mutató, míg az IF költséges licenszhez
kötött. A másik, ezzel összefüggő indok, hogy az SJR és az IF
számos elméleti és technikai különbségük (eltérő mérési alapelv,
eltérő adatbázisháttér) ellenére „elég” sok tekintetben
egyenértékűnek mutatkoznak (lásd a következő szakaszt). Fontos
további eleme az átállásnak, hogy a folyóiratok (ezen keresztül
pedig a cikkek) SJR-értékük szakterületi kategórián belüli
rangsora alapján négy, azonos méretű osztályba sorolva jelennek
meg (mind a szolgáltatónál, mind az MTMT-ben), a rangsor felső
25%-ától kezdve a rangsor végén elhelyezkedő 25%-kal bezárólag.
Ez az ún. kvartilis-besorolás (Q1: legjobb 25%; Q2: 25–50%; Q3:
50–75%; Q4: 75–100%) teszi lehetővé, legalábbis elvileg, hogy a
különböző tudomány- és szakterületekhez tartozó folyóiratok és
cikkek közvetlenül (vagyis a saját területükön elfoglalt
pozíciójuk alapján) összemérhetőek legyenek.
Az átalakítást övező vita alapvető tényezője
– az impaktfaktor-konzervativizmuson túl –, hogy az SJR
bevezetése, de főként a fenti SJR-alapú kvartilisrendszer sok
esetben a közlemények (folyóiratok) átértékelődéséhez vezet,
mind a korábbi, IF-alapú értékítélethez, mind pedig a szakmai
közvélemény megítéléséhez képest. Ez az átértékelődés továbbá
eltérő mértékben érintheti az egyes kutatókat, szakterületeket,
intézményeket stb. Az IF- és az SJR-rangsor „egyenértékűségéről”
ugyan számos empirikus tanulmány számol be (vö. például Falagas
et al., 2008; Leydesdorff, 2009; González-Pereira et al., 2010),
ám ezek jellemzően a két mutató jellemezte folyóirat-populációra
vonatkoznak (vagyis rendre a Web of Science, illetve a Scopus
metszetében lévő folyóiratokra, a WoS és a Scopus közös
tartalmának egészére). Általános konklúziójuk, hogy a két mutató
között igen magas a rangkorreláció, vagyis nagyon hasonló
rangsort állítanak fel a folyóiratok között. Ha azonban nem
általánosságban tekintjük a két mutató viszonyát, hanem adott
szakterületi profillal, publikációs szokásrendszerrel vagy
stratégiával (vagyis folyóirat-használattal) bíró szereplők, így
intézmények, csoportok, kutatók vonatkozásában, akkor az
eltérések jelentősek lehetnek. A korreláció alacsonyabb
aggregációs szinteken, például szakterületenként vagy más módon
megállapított folyóiratcsoportonként korántsem azonos mértékű –
az átállás tétje tehát különböző lehet az eltérő
folyóiratprofillal jellemezhető szereplők számára (ezt
illusztrálja az a hipotetikus extrém eset, ha valamely szereplő
rendszeresen egyetlen folyóiratban publikál, amely éppen az SJR,
illetve JIF által jelentős különbséggel rangsorolt kisebbséghez
tartozik). Az ilyen eltérések mögött több tényező húzódik meg,
de elsősorban a mutatószámok hátterében álló adatbázisok
tartalmi−szerkezeti különbségei tartoznak ide, amelyek főként az
SJR-hez kapcsolt (de az IF-hez is kapcsolható) kvartilisrendszer
használatában nyilvánulnak meg. Az, hogy egy folyóirat milyen
kvartilis-besorolást kap, nagyban függ – egyebek között – (1) a
vonatkozó szakterület(ek) összetételétől és méretétől (a
kategória definíciója és a folyóiratok kategórián belüli száma),
(2) a folyóirathoz rendelt szakterületek számától és, ha ez
egynél nagyobb, (3) attól, hogy melyik szakterületi kategóriát
vesszük alapul a besoroláshoz. Az alapvető összemérhetőségi
probléma, hogy a WoS és a SCOPUS eltérő méretű folyóirathalmazt
indexel (ez önmagában is eltérő összetételű kategóriákat
valószínűsít), valamint eltérő szakterületi kategória-rendszert
és besorolásokat alkalmaz. Másképp fogalmazva: egy folyóiratnak
erősen más lehet a kontextusa (referenciahalmaz) az IF- vs.
SJR-rangsor képzésekor, ami még akkor is nagy különbséghez
vezethet, ha egyébként a két adatbázis közös folyóiratainak
sorrendjén a mérőszámcsere nem változtat. A kvartilisrendszer
használata tehát, noha a szakterületi összemérhetőséget
támogatja, így elviekben támogatható, jelentős körültekintést
igényel.
Fentiek alapján adódik a kérdésfeltevés, hogy
az adatbázishatások és egyéni publikációs stratégiák együttesen
milyen tényleges hatással bírnak a hazai kibocsátás SJR-alapú
megítélésére nézve, különösen a korábbi, IF-alapú gyakorlathoz
képest. Az alábbi vizsgálat keretében ezért egyrészt arra az
alapkérdésre kerestük a választ, hogy változik-e a hazai
(MTMT-ben jegyzett) kutatóhelyek összteljesítménye értékelési
szempontból az SJR-rendszerben, és ha igen, miként és milyen
mértékben. Másrészt: van-e e téren számottevő különbség az
intézmények, szakterületek, impaktfaktor-kategóriák stb. között,
vagyis az átállás következményei mennyire egyformán érintik a
különböző szereplőket.
Adatok és módszerek
A hazai hatások vizsgálatához viszonylag hosszú időtávot
(2007–2014), illetve az MTMT-ben regisztrált felsőoktatási
intézmények és kutatóhelyek (egyetemek, főiskolák, MTA-hálózat)
ezen időszakra vonatkozó összkibocsátását vontuk az elemzés
körébe. A tényleges mintát az ide tartozó, a megjelenés évében
impaktfaktorral jellemezhető folyóiratcikkek halmaza alkotta,
tekintettel arra, hogy elsődleges kérdésünk az „impaktfaktoros”
közlemények megítélésében bekövetkező potenciális változásra
vonatkozott (lásd a következő szakaszt). További elemzés tárgya
annak a mennyiségi előnynek a vizsgálata, amely az SJR
használatából származhat pusztán azért, mert a SCOPUS-adatbázis
jóval több folyóiratot indexel, mint a WoS – ezért az
impaktfaktorral nem jellemezhető cikkek egy része a
(SCOPUS-alapú) SJR révén bekerül a folyóirat-alapú értékelés
látókörébe.
Az átállás hatása legközvetlenebb módon az
egyes közlemények rangjában bekövetkező változás
számszerűsítésén, illetve ezen változások intézményi,
szakterületi stb. aggregációján keresztül vizsgálható. Tekintve,
hogy ezt a rangot mindkét mutató esetében az jellemzi, hogy a
mérőszám képezte szakterületi rangsorban a közlő folyóirat
milyen pozíciót foglal el, a rangváltozást a „mérőszámcsere”
okozta, rangsoron belüli relatív elmozdulással definiáltuk. A
konkrét eljárás az alábbi lépésekből állt:
(1) Minden impaktfaktoros közleményre
vonatkozóan meghatároztuk annak percentilis rangját (PR-érték)
az IF- és az SJR-mutató szerint egyaránt. A percentilis rang
lényegében azt tükrözi, hogy a közlő folyóirat az adott
szakterülethez tartozó folyóiratok mekkora hányadát (százalékát)
előzi meg annak rangsorán belül. A referencia-rendszert, vagyis
a tudományterületeket az alkalmazott mérőszámok alkalmazásának
eredeti kontextusa határozta meg, vagyis az IF esetén a Journal
Citation Reports folyóirat-kategorizációja, az SJR esetén pedig
a SCOPUS-ban használt ASJC (All Science Journal Classification).
(2) Minden közleményre meghatároztuk az IF-
és az SJR-mutatónak megfelelő PR-érték különbségét. Az eredmény
egy [–1, 1] tartományban mozgó szám, amely az elmozdulás
percentilisekben mért nagyságát és irányát jelzi (–100, +100).
Többszörös szakterületi besorolás esetén, amikor a
„multidiszciplináris” folyóirat szakterülettől függően az IF és
az SJR mentén is egyszerre több eltérő helyezést kaphat, azt a
szakterületet vettük tekintetbe, ahol a folyóirat a legkedvezőbb
besorolást kapta mind az IF, mind pedig az SJR-rangsor szerint.
Ilyen módon egyfajta best case scenario-t modelleztünk, vagyis
hogy milyen képet kapunk, ha azokat az IF-hez, illetve SJR-hez
adott szakterületeket választjuk egy cikk értékelése során,
amelyek rangsorában a cikk (folyóirat) a legjobb helyezést éri
el („optimistic approach”, vö. Liu et al., 2016).
(3) Megvizsgáltuk a mintában szereplő hazai
közlemények rangváltozásainak statisztikai jellemzőit, illetve
különböző csoportok szerinti, illetve azok közötti alakulását,
beleértve a csoportképző változók kapcsolatát is. Csoportképző
változóként az alábbiakat tekintettük:
• intézmények (rangváltozás az egyes
intézmények kibocsátásában);
• tudományterületek (rangváltozás
tudományterületenként. Az aggregációhoz az Essential Science
Indicators 22 elemű tudományterületi kategóriarendszerét
alkalmaztuk);
• publikáció éve (rangváltozás az azonos
évben megjelent közleménykohorszok szerint, vö.
Mañana-Rodríguez, 2015);
• impaktfaktor szerinti kvartilisosztályok
(rangváltozás attól függően, hogy az IF szerint Q1–Q4-es
közleményekről van-e szó).
Fenti módszer előnye, hogy közvetlen,
szakterületeken átívelő összemérhetőséget biztosít az IF- és az
SJR-mutató folyóirat-besorolásai között. További előny: a
percentilisekben mért rangváltozáson keresztül láthatóvá válik
az SJR-hez már alkalmazott kvartilisekben kifejezett közti
elmozdulások egy része is: 0,25, azaz 25 percentilis nagyságú,
bármely irányú elmozdulás esetén a közlemény biztosan átlép egy
kvartilishatárt a rangsorban. Az alábbiakban az egyszerűség
kedvéért úgy hivatkozunk a kvartilistávolságon belüli, illetve
azt meghaladó rangváltozásra, mint kvartilisen belüli, illetve
egy vagy több kvartilissel történő (kvartilishatárt meghaladó)
elmozdulásra. Fontos megjegyezni, hogy ez nem teljesen azonos az
SJR szerinti Q1–Q4 közti mozgás leírásával, amelyek között akkor
is válthat egy közlemény (folyóirat), ha egyébként
kvartilistávolságon belül mozdul el; ha azonban azon túli
elmozdulás tapasztalható, a váltás mindenképpen bekövetkezik.
Másképp fogalmazva: nem minden Q-határátlépés egy kvartilisen
túli elmozdulás, de minden egy kvartilist meghaladó elmozdulás
Q-határátlépés.
Eredmények
A hazai kibocsátásra vonatkozóan első lépésben a legátfogóbb
képet, a teljes érintett közleményhalmaz rangváltozásának
statisztikáit vizsgáltuk meg. A rangváltozás eloszlását mutatja
be az 1. ábra. Ennek
alapvető tanúsága szerint az SJR-mutató az IF-hez képest az
esetek többségében enyhén pozitív rangváltozást eredményez,
vagyis valamivel megemeli a szakterületi rangot. Közelebbről,
noha a legnagyobb részarányt azok a cikkek képviselik,
amelyeknél nincs vagy alig látható rangváltozás (0 körüli
érték), a cikkek következő legnépesebb köre 0–25 percentilis
közti előrelépést mutat (vagyis egy kvartilisen belül, de
felfelé mozog). Egy kisebb hányad több mint egy kvartilissel
feljebb kerül (25–50 PR érték között), elenyésző azoknak a
hányada, ahol ennél nagyobb elmozdulás látható. Az ellenkező
irányban is megfigyelhető mozgás, vagyis a közlemények kisebb
hányada az SJR-mutatóval veszít a rangjából, de ez a veszteség
minimális, jóval kisebb léptékű annál, ami kvartilishatár
átlépését eredményezné.
Rangváltozás az egyes közleménycsoportokban: szakterületek
szerint
A felértékelődés fent leírt jelensége akkor is kellően
általános, ha a hazai kibocsátást tudományterületi bontásban
tekintjük (2. ábra). Az
Essential Science Indicators (ESI) kategóriarendszere szerint
aggregált csoportokban hasonló eloszlás tükröződik, mint a
teljes mintát véve. A változás középértéke minden területen
pozitív, illetve a közlemények legalább fele enyhén, egy
kvartilisen belül (fölfelé) mozdul el. Szintén általános, hogy a
tudományági közlemények további negyede fölfelé átlép egy
kvartilishatárt, a maradék negyedrésze pedig enyhén lefelé
csúszik (-25 PR-értéken, vagyis egy kvartilisen belül).
Erősebben különböznek a területek a kiugró értékeik
eloszlásában, mind pozitív, mind negatív irányban. Említést
érdemel a társadalomtudományok (Social Sciences, general)
kategóriája, ahol a legszélesebb tartományban változik a rang:
bár a közlemények több mint háromnegyede előrelép a rangsorban,
akadnak köztük három kvartilist fel-, illetve lefelé váltó
publikációk is. Hasonlóan széles tartományban mozog ugyanakkor
több élet- és természettudományi diszciplína kibocsátása is: A
fizika (PHYSICS) cikkeinek zöme egy kvartilisen belül marad, de
kiugró esetei 2–3 kvartilishatáron túl esnek; hasonló az
anyagtudomány helyzete is |
|
|
(MATERIALS SCIENCE). A SCOPUS-ban jobban
reprezentált mérnöki (ENGINEERING) és számítástudományok
(COMPUTER SCIENCE) kategóriájában jellemző két kvartilishatár
átlépése pozitív irányba. A leginkább kiugró terület a
mikrobiológia (MICROBIOLOGY), ahol a cikkek több mint fele egy
kvartilissel feljebb tolódik, míg a legalsó negyede is zömmel a
pozitív tartományban van.
Rangváltozás az egyes közleménycsoportokban: IF-rang szerint
A szakterületek különbségeinél látványosabb képet mutat, ha
aszerint vizsgáljuk a rangváltozási tendenciákat, hogy a
mintabeli közlemények melyik impaktfaktor-tartományba esnek,
vagyis az „eredeti” IF-érték alapján hol, melyik kvartilisben
helyezkednek el az adott tudományterület rangsorában. Ezt a
képet támasztja alá a kapcsolódó statisztikai vizsgálat is,
amelyben azt igyekeztünk megbecsülni, hogy a vizsgált
csoportképző változók, pontosabban a (1) tudományterület, (2) a
közlési év és (3) az IF-kvartilis (valamint ezek interakciói)
milyen mértékben magyarázzák a rangváltozást a teljes mintában.
Ennek értelmében a legnagyobb „hatást” (effect size) az
IF-kvartilis gyakorolja, függetlenül a szakterülettől és a
közlési évtől. A különbségeket a
3. ábra szemlélteti. Bár a
középértékek ebben az esetben is egyformán enyhe pozitív
rangváltozást mutatnak mind a négy IF-kvartilisben (Q1–Q4), az
eloszlás határozottan eltérő az egyes IF-osztályokon belül. A
Q4-es cikkek, vagyis az IF szerint a szakterületi rangsor alsó
25%-ához tartozó közlemények csaknem mind fölfelé tolódnak,
középértékük szerint legalább egy kvartilist (25 PR), több mint
negyedrészük pedig legalább két kvartilist. Kiugró értékeik
három kvartilishatárral kerülnek előrébb. Csaknem ugyanez
jellemző a Q3-as cikkekre is. A Q2-es publikációk körében a
közlemények fele már egy kvartilisen belül mozog, ugyanakkor
több kiugró érték látható negatív irányban, vagyis az SJR-mentén
leértékelődő közlemények formájában, egy vagy két
kvartilishatárt is átlépve. A Q1-es, vagyis a „legjobb” IF-es
folyóiratokban megjelent cikkek legnagyobb része alig vált
pozíciót, érdekes módon azonban a kiugró értékek megszaporodnak
a negatív irányban, egyedi esetekben egészen végletes
visszaeséseket is produkálva. Összességében tehát két tendencia
figyelhető meg a mintában: (1) az alsó IF-kvartilisekhez tartozó
cikkek jellemzően felértékelődnek, ez a hatás a felső
IF-kvartilisek felé haladva gyengül, illetve a legfelsőben alig
érvényesül; (2) ugyanakkor a felső IF-kvartilisekben több,
erősen negatív kiugró eset látható, vagyis jellemzőbb azoknak az
egyedi eseteknek az előfordulása, amelyek rangvesztéssel járnak.
Rangváltozás az egyes közleménycsoportokban: intézmények
szerint
Alapvető kérdés, hogy a rangváltozási tendenciák miként érintik
a kutatás szervezeti szereplőit, elsősorban a felsőoktatási
intézményeket és az akadémiai kutatóhálózatot. Az intézmény mint
csoportképző változó hatását szemlélteti a
4. ábra, amely a
kibocsátás (éves közleményszám) tekintetében nagyobb méretű
egyetemeket, illetve az MTA-kutatóhelyeket hasonlítja össze
(utóbbit aggregált formában). Ezúttal is megállapítható, hogy a
rangváltozás fent leírt főbb tendenciái a hazai kutatóhelyek
körében is általánosan érvényesülnek: a változás középértéke
mindenhol enyhén pozitív (felértékelődés), és a közlemények fele
minden kutatóhely esetében egy kvartilisen belül mozog
(felfelé). A közlemények negyedrésze felfelé átlép egy
kvartilishatárt, és szintén kb. egynegyed rész az, amelyik
leértékelődik az IF-hez képest. Az intézmények közötti
különbségek elsősorban abban mutatkoznak meg, hogy mennyire
jellemző és mekkora „amplitudójú” az egyedi rangváltozások
előfordulása, amelyek kiugranak a jellemző tendenciából. Ebből a
szempontból a multidiszciplináris, a folyóiratok széles
tartományában publikáló szereplők, így a nagyobb
tudományegyetemek (főként az SZTE, SE, ELTE, BMGE) és az MTA
szembeötlőek, ahol a szórványos leértékelődés igen nagy
ugrásokat is eredményez (két–három kvartilishatár átlépése). Az
ellenkező irányban szinte minden intézménynél több kiugró eset
látható, amelyek két–három kvartilishatárral kerülnek előrébb.
A csoportváltozók kapcsolata: a tudományterület és IF-rang
együttes hatása
Fentiekben egyenként tekintettük végig a kiemelt szempontokat,
amelyek mentén az SJR-rendszerre való átállás potenciálisan a
mérőszámváltással összefüggő különbségeket eredményez a hazai
tudomány szereplői között. Jogos feltevés azonban, hogy ha
ezeket a szempontokat egymással összefüggésben tekintjük,
pontosabb képet kapunk a közleményhalmaz viselkedéséről. A
korábban hivatkozott statisztikai modell, amely a csoportképző
változók rangváltozásra gyakorolt hatását hivatott kvantifikálni
a teljes hazai mintában, olyan kapcsolatot jelzett a tényezők
között, amelynek hatása (effect size) még számottevőnek
tekinthető. Eszerint releváns különbség van az egyes
közleménycsoportok között aszerint, hogy mely tudományterülethez
és melyik impaktfaktor-kvartilishez tartoznak (a két
csoportképző kölcsönhatása erősebb, mint a tudományterület, de
gyengébb, mint az IF-rang önálló hatása).
A közlemények rangváltozási statisztikáit
tudományterületenként, IF-kvartilisek szerinti bontásban mutatja
be az 1. táblázat.
A szakterületi bontás ellenére továbbra is látványos az
impaktfaktor-rang szerinti elkülönülés, miszerint a felsőbb
kvartiliseket kevésbé vagy alig, az alsóbbakat jóval inkább
érinti a (pozitív átlagos értékű) rangváltozás. A szakterületek
közül a klinikai orvostudomány, a számítástudomány, a mérnöki
tudományok, a környezettudományok, a földtudományok, az
immunológia és a mikrobiológia azok, ahol jelentősebb, átlagosan
egy kvartilist meghaladó fölértékelődés jellemzi a Q4-es,
illetve a Q3-as impaktfaktor-besorolású közleményeket. Ezek
közül is kiemelkedik a számítástudomány és a mikrobiológia, ahol
az átlagos változás rendre csaknem elér, illetve átlép két
kvartilishatárt. (Kiugró értéket mutat e két kvartilisben a
multidiszciplináris folyóiratok kategóriája is, a vonatkozó
publikációk száma azonban elenyésző.) A centrális tendenciák
mellett érdemes szemügyre venni a rangváltozás tartományát
(zárójelben), amelyek szerint a legtöbb tudományterületen
találunk szélsőséges elmozdulásokat is (vö. a molekuláris
biológia és genetika Q2-es közleményeit, amelyek átlagosan egy
kvartilist sem lépnek át, ugyanakkor előfordul köztük -2,
illetve +2 kvartilissel elmozduló cikk is).
A rangváltozás átlagos értéke, tartománya
(zárójelben) szakterületek szerint, illetve a vonatkozó
közleményszám (#).
Összefoglaló megjegyzések
Az SJR-rendszer használatának következményeire vonatkozó,
illetve az „impaktfaktoros” közlemények körében elvégzett fenti
vizsgálatok „elsőkörös”, tájékozódó jellegük ellenére is több,
az értékelés gyakorlatában hasznosítható eredményt hoztak.
1) Egyrészt elmondható, hogy (1) az
SJR-mutató és a hozzá kapcsolódó tudományterületi rendszer
(SCOPUS, illetve SciMago) mentén az akadémiai szféra közleményei
körében általánosan jellemző az enyhe felértékelődés, vagyis a
vonatkozó folyóiratok saját (SCOPUS-) szakterületükön optimális
esetben feljebb kerülnek a rangsorban, mint ahová az IF-mutató
sorolja őket (a JCR-, illetve WoS-rangsorban).
2) Az is megfigyelhető ugyanakkor, hogy (2)
ez a jelenség nagyjából egyformán „sújtja” a
felsőoktatási-akadémiai intézményi kört, illetve a
tudományágakat − jóllehet a tudományágak között vannak speciális
esetek. A felértékelődés intézményenként hasonló eloszlást
mutat, és mindenhol, de különösen a diverz kibocsátású,
multidiszciplináris egyetemek (illetve a hasonlóan diverz MTA)
esetében megjelennek a kiugró, szélsőségesen átértékelődő
(egyedi) esetek is. Ez a kép megerősíti azt a kutatásértékelési
elvet, amely szerint magasabb aggregációs szinteken (nagyobb
intézmények) kisebb mértékben torzító, megbízhatóbb
összehasonlítások végezhetőek, mint a kisebb egységek,
jellemzően egyének szintjén. Másképp fogalmazva, míg az
SJR-rendszer intézményi szintű alkalmazásának látszólag
nincsenek kimondott „nyertesei” és „vesztesei”, szisztematikus
eltérésekhez nem vezet, az egyes kutatók között mindig lehetnek
olyanok, akik publikációs profilját épp valamelyik szélsőségesen
átértékelődő (kiugró) folyóirat dominálja.
3) Fontos eredmény ugyanakkor az is, (3) hogy
nagyrészt intézménytől és szakterülettől függetlenül, de a
folyóiratok IF-szerinti „kiválósága” számottevő tényezőnek
látszik a rangváltozás szempontjából. Az impaktfaktor-rangsorban
Q4-es és Q3-as, vagyis a rangsor alsó felében elhelyezkedő
folyóiratok határozottan felértékelődnek az SJR-rendszerben, míg
a Q2-es, de különösen a Q1-es, vagyis a „top” folyóiratok rangja
(néhány sajátos kivételtől eltekintve, lásd a Függeléket)
változatlan marad. Értékelési szempontból azt mondhatnánk, hogy
az „elit” folyóiratokban megjelenő közleményeket illetően
lényegében mindegy, hogy melyik rendszert használjuk.
Az eredmények értelmezésében fontos szem
előtt tartani, hogy a megközelítés több értelemben is
„optimisztikus”: egyrészt többszörös szakterületi besorolás
esetén a legkedvezőbbet veszi figyelembe, másrészt a kvartilisek
közti mozgás szintjén csak a rangsorbeli elmozdulás mértékéből
biztosan látható váltásokat detektálja. Célszerű a megfigyelt
átértékelődési mintázatok közelebbi okait is megvizsgálni
(tényleges, az IF vs. SJR számításának módszertani
különbségeiből adódó eltérések; kontextusvezérelt, az eltérő
szakterületi kategorizációból származó rangsorbeli áthelyeződés;
látszólagos, esetleg az adatbázisok hibái okozta műtermékek; a
„felhasználók” viselkedéséből adódó, a vizsgált szereplők
publikációs stratégiáját tükröző eloszlások): ezek a
részletesebb elemzést igénylő kérdések képezik további
vizsgálataink tárgyát.
Függelék
A 2. táblázatban
azokat a „szélsőséges viselkedésű” folyóiratokat gyűjtöttük
össze, amelyek az impaktfaktor-alapú értékelésben elitnek
számítanak, Q1-es besorolást kapnak, de az SJR-rangsorban
meglepő módon több mint 50 PR (vagyis két teljes kvartilist
átívelő) esést mutatnak (a Q1-hez tartozó eloszlás kiugró
értékei negatív irányban). A változás több esetben műterméknek,
vagyis nem valódi „értékcsökkenésnek” minősíthető, elsősorban
azokban az esetekben, ahol a vonatkozó közlemények egy-két évre
korlátozódnak (az Astrophysical Journal Letters a 2010-es évet
leszámítva mindkét mutató mentén Q1-es besorolású. Az adott
évben nem tartozik hozzá SJR-érték, illetve valamilyen okból 0
értékű, ezért Q4-es besorolást kapott. Azok a mintabeli
közlemények, amelyek a folyóirat rangcsökkenését reprezentálják,
kivétel nélkül ehhez a problematikus évhez tartoznak). A többi
esetben részletes vizsgálatot igényel a rangcsökkenés hátterének
feltárása.
Kulcsszavak: tudománymetria, kutatásértékelés,
folyóirat-mérőszámok, publikációs stratégia, impaktfaktor,
Scimago Journal Rank
IRODALOM
Falagas, Matthew E. – Kouranos,
Vasilios D. – Arencibia-Jorge, Ricardo – Karageorgopoulos,
Drosos E. (2008): Comparison of SCImago Journal Rank Indicator
with Journal Impact Factor. The FASEB Journal. 22, 8, 2623–2628.
DOI: 10.1096/fj.08-107938
González-Pereira, Borja –
Guerrero-Bote, Vincente Pablo – Moya-Anegón, Félix (2010). A New
Approach to the Metric of Journals’ Scientific Prestige: The SJR
Indicator. Journal of Informetrics. 4, 3, 379–391. •
WEBCÍM
Leydesdorff, Loet (2009). How Are
New Citation Based Journal Indicators Adding To The Bibliometric
Toolbox? Journal of the American Society for Information Science
and Technology. 60, 7, 1327–1336. •
WEBCÍM
Liu, Weishu – Hu, Guangyuan – Gu,
Mengdi (2016). The Probability of Publishing in First-quartile
Journals. Scientometrics. 106, 3, 1273–1276. DOI:
10.1007/s11192-015-1821-1 •
WEBCÍM
Mañana-Rodríguez, Jorge (2015). A
Critical Review of SCImago Journal & Country Rank. Research
Evaluation. 24, 4, 343–354. DOI: 10.1093/reseval/rvu008
LÁBJEGYZETEK
1 A Journal Impact
Factor mérőszámot a (legutóbbi időkig a) Thomson Reuters cég
szolgáltatja (illetve szolgáltatta), a Web of Science (WoS)
szolgáltatásköréhez tartozó Journal Citation Reports adatbázison
keresztül, előfizetés ellenében. Ennek megfelelően a mutató a
JCR (nagyjából a WoS) folyóirattartalmára vonatkozik. A SciMago
Journal Rank a Scimago Research Group (illetve az Elsevier)
által ingyenesen közzétett mérőszám, amely az Elsevier által
üzemeltetett Scopus adatbázis folyóirataira vonatkozóan érhető
el. Minthogy a WoS-folyóiratok legnagyobb része a Scopusban is
szerepel, erre a körre mindkét mutató elérhető.
< |
|
