2007; Saisana-D’Hombres, 2008; Altbach, 2006;
Provan-Abercrombiw, 2007; Thomson, 2000; Schuster-Finkelstein,
2006;Will, 2007;Monastersrey, 2005; van der Welde, 2006; Salmi, 2009;
Aguillo, 2006; Enserink, 2007).
Az úgynevezett összetett (kompozit) mutatószámokon
alapuló rangsorok helyességét jelentősen befolyásolhatja a különböző
mutatóknak adott súlyzás, mint az már e dolgozat bevezetésében
említésre került. Ugyanis mindmáig a súlyzásokhoz semmilyen elvi
alapokat nem tudtak kijelölni, az egyedi esetekben ezek mindig
tetszőlegesek. Ugyancsak sok esetben megkérdőjelezhető a kompozit
indikátorokhoz felhasznált adatok minősége és az adatok feldolgozás
előtti minőségellenőrzése (Gingras, 2008; Provan-Aberkrombiw, 2007;
Thomson, 2000).
Kik rangsorolják (értékelik) a rangsorolókat?
Az egyre nagyobb számban napvilágot látó rangsorolások és rangsorolók
bizonyos fokú elvi koordinálását célzó szándékkal 2004-ben a bukaresti
UNESCO European Centre for Higher Education (UNESCO-CEPES) és az
Institute for Higher Education Policy, Washington közös szervezésében
létrejött a Nemzetközi Rangsorolási Szakértői Csoport (International
Ranking Expert Group, IREG).
A csoport 2006-ban Berlinben tartott ülésén
megtárgyalt, majd összeállított egy a felsőoktatási intézmények
minősítésénél és rangsorolásánál tekintetbe veendő elvi ajánlatsort.
Ezek a „Felsőoktatási intézmények rangsorolásának berlini elvei” néven
váltak ismertté (Marginson, 2007).
Az elvek a következők:
A rangsorok:
• Legyenek átláthatóak (transzparensek) a
rangsorolásnál alkalmazott metodikák szempontjából. A rangsoroláshoz
választott módszereknek világosaknak és félreértelmezhetetlennek kell
lenniük. Ennek az átláthatóságnak tartalmaznia kell az indikátorok
(mutatószámok) számítási módszerét és az adatok forrását illetve
eredetét.
• Az indikátorokat fontosságuk és érvényességük
szerint kell választani. Az adatokat úgy kell megválasztani, hogy azok
minőséget és kutatási és intézményi erősséget képviseljenek, és
nemcsak azért kerüljenek kiválasztásra, mert hozzáférhetőek.
• Mindenhol, ahol lehetséges a termelési (output)
adatokat részesítsék előnyben a ráfordítottságuakkal (input) szemben.
A ráfordítási adatok is relevánsak, mert egy intézmény általános
állapotát tükrözik és emellett könnyebben hozzáférhetőek. A termelési
(input) mértékek pontosabb értékelést adnak egy adott intézmény
állapotáról és/vagy minőségéről. A rangsorolók összeállításainak
biztosítani kell a fentiek közötti megfelelő arányt.
• Minőségellenőrzési mértékeket kell biztosítani a
rangsorok összeállításánál. Ezeknek a folyamatoknak tekintetbe kell
venniük az intézmények értékeléséhez alkalmazott szakértelmet és
ezeket az ismereteket fel kell használni magának a rangsornak az
értékelésénél. A rangsorolásoknak önfejlődőeknek kell lenniük és
állandóan használniuk a szakértelmet a metodológiájuk kidolgozásában.
• Nemzetközi mértékeket kell alkalmazniuk, amik
fokozzák a rangsorok hitelességét. Ezeknek a mértékeknek a
kidolgozáshoz igénybe kell venni tanácsadó, sőt ellenőrző testületeket
lehetőleg nemzetközi részvétellel.
Következtetések
Az irántuk való nagy érdeklődésből ítélve az egyetemek minőségének
mérése rangsorolások képében hasznosnak bizonyulhatnak. Sajnos azonban
a jelenlegiek gyakran tévesen rangsorolnak, illetve hibásan dolgozzák
fel a méréseket. Privilegizálják a már eredetileg privilegizáltakat és
bizonyos szakterületeket más szakterületek rovására emelnek ki. A
megoldások ezekre a kérdésekre meglehetősen nehezeknek bizonyulnak
majd a jövőben. Sajnos túl sok ma az ütköző érdek a rangsorolási
arénában. Széles körben elfogadott feltételek és eljárások a rangsorok
kidolgozására hasznos lépést jelenthetnek a jövőben. A mérések
megfelelő közös megegyezéssel kidolgozott eljárásokkal való készülése
az előfeltételekhez tartoznának. Annak ellenére, hogy e téren az
átláthatóságnak jelentékeny feltételt kellene képeznie, egyes
rangsorolások kritériumai és módszerei érezhetően zavarosak. Ez annak
ellenére van így, hogy a 21. század kompetitív és piac-orientált
felsőoktatási világában a rangsorolások elkerülhetetlenek és
valószínűleg szükségesek. Az igazi kihívást azonban az jelenti, hogy a
rangsorolások a felhasználók számára pontos és lényeges értékeléseket
biztosítsanak és a lényeget tükrözzék.
Ezekhez a törekvéseknek az elérésére biztatónak
tűnik a hír, hogy az Európai Bizottság Felsőoktatási Kutatási
teljesítmény Mérését Felügyelő Konzorciuma (Consortium for Higher
Education and Research Performance Assessment, CHERPA) nemrégen
pályázatot hirdetett egy multidimenzionális globális egyetemi
rangsorolási rendszer kidolgozására és tesztelésére. A CHERPA egy
európai hálózata az e téren vezető intézményeknek, mint a CHE, Centre
for Higher Education Develpoment (Gütersloh, NSzK), a CHEPS, Center
for Higher Education Policy Studies (Twentei Egyetem, Hollandia), a
CWTS, Centre for Science and Technology Studies (Leideni Egyetem,
Hollandia) és az ICENTIM (Leuveni Katolikus Egyetem) és az OST,
Observatoire des Sciences et des Techniques (Párizs) Szövetsége.
A European Federation of National Engineering
Associations (FEAK) és az European Foundation for Management
Development (EFMD) szintén támogatja a fent említett projektet, aminek
eredményei körülbelül 2012-re várhatók.
HIVATKOZÁSOK
Aguillo, I. F., Bar-Ilan, J., Levene, M.,
Ortega, J. L., (2010), Scientometrics, to be published
Aguillo, I. F., Granadino, B., Ortega, J.
L., Prieto, A., (2006), Scientific Research Activity and Communication
Measured with Cybermetrics Indicators, J. Am. Soc. Inf. Sci. Techn.,
57, 1296
Altbach, P., (2006,) The Dilemmas of
Ranking, Int. Higher Ed., 42, 2
Bookstein, F. L., Seidler, H., Fieder, M.,
Winckler, G., Too Much Noise in the Times Higher Education Rankings,
Scientometrics, to be published, 2010
Braun, T., Dióspatonyi, I., Zádor, E.,
Zsindely, S. Élvonalbeli egyetemek a természettudományos folyóiratok
kapuőrein alapuló mutatószám szerint, Magyar Tudomány, 1 (2007) 82
Enserink, M., (2007), Who Ranks the
University Rankers? Science, 317, 1026
Gingras, Y., (2008), Du Mauvais Usage Aux
Faux Indicateurs. Rev. Hist. Mod. Contemp., 5, 67
Ioannidis, J. P. A., Patsopoulos, N. A.,
Contapoulos Ioannidis, F. K., Liberopoulos, G. (2007), International
Ranking Systems for Universities and Institutions: a Critical
Appraisal, Biomed Central, 5, 30
Kävelmark, T. (2007) University Ranking
Systems: A Critique, Technical Report. Irish Universities Quality
Board
Marginson S., Global University Rankings:
Where From Here? Asia-Pacific Association for International Education
Conf., National University of Singapore, 7-9 March, 2007
Monastersrey, R., The Number That’s
Devouring Science, The Chron. High. Ed., October 14, 2005
Provan, D., Abercrombiw, K. (2007),
University League Tables and Rankings. A Critical Analysis,
Commonwealth Higher Education Management Service (CHEMS) Paper no. 30
Saisana, M, D’Hombres, B. (2008), Higher
Education Rankings. Robustness Issues and Critical Assessment. How
Much Confidence Can We Have in Higher Education Rankings? Technical
Report EUR 23487, EN 2008., CRELL, Joint Research Centre, European
Commission
Salmi, J., (2009), The Challange of
Establishing World Class Universities in J. Sedlak, Liu Nian Cai
(Eds.,) The World Class University as Part of a New Higher Education
Paradigm: From Institutional Qualities to Systemic Excellence,
UNESCO-CEPES, Cluj, University Press, Cluj
Schuster, J. H., Finkelstein, M. J., (2006), The American Faculty: The
Restructuring of Academic Work and Careers, Baltimore, John Hopkins
University Press
Scriven, M., (1991) Evaluation Thesaurus,
4th Edition, Sage, Newbury Park
Thomson, N., (2008), Playing with Numbers:
How U.S. News Mismeasures Higher Education and What We Can Do about
It. Washington Monthly 22, 16
van der Wende, M. C., (2006), The
Challenge of University Ranking.
WEBCÍM >
Will, K. H., Breaking Ranks: A College
Can’t Be Reduced to a Number in a Magazine, Washington Post, 9 July,
2007
LÁBJEGYZET
1 A dolgozat
teljes szövege. Lapunk nyomtatott kiadásában rövidített szöveg
olvasható.
<
2
M. Clarke, Some Guidelines for Academic Quality Ranking (2002) Higher
Education in Europe 27, 443 zuhanórepülésbe kezdett, amihez a
rektorhelyettes kipellengérezése társult. Hozzáértők előtt azonban
nyilvánvaló volt, hogy a helyezési visszaesés a világrangsorban
anélkül történt, hogy az egyetem valós teljesítménye (kivéve a számos
plakát költségeit) a valóságban hanyatlott volna. Ugyanis a Malaya
Egyetem és rektorhelyettesének hírnév-drámájában nem volt 2004-2005-re
fellelhető semmilyen valós változás a teljesítmény, versengés és
eredményesség között. Ami történt, az a The Times rangsorolási
metodikai változtatásának következménye volt és semmilyen hasznos
ösztönzést nem jelenthetett a jobb menedzselés, oktatás vagy kutatás
biztosítására. A fentiek valós, megtörtént eseményt írtak le
(Marginson, 2007), de hasonló előjelű és hátterű történések a világon
bárhol másutt is előfordulhattak volna és elő is fordultak. Az itt
következők betekintést kívánnak adni az egyetemi világrangsorok
bonyolult világába.
<
|