Megköszönöm Kézdi Gábor és Surányi Éva válaszait (Kézdi – Surányi, 2010a és b; Surányi – Kézdi, 2010), sokat tanultam. Konkrét kérdéseim zömére azonban nem kaptam konkrét választ, ezért kritikám kényegét kénytelen vagyok fenntartani.

Kézdi Gábor és Surányi Éva írásom érdemének érzi, hogy az „rávilágít egy, a társadalompolitikai programok hatásvizsgálatai és a természettudományos vizsgálatok között meghúzódó általános módszertani különbségre”. Örülök, hogy fölvetették ezt a kérdést, mert a társadalomkutatók körében ez a különbségtevés valószínűleg széles körben elterjedt, talán ezzel is magyarázható, hogy saját munkájukat kicsit más mércével ítélik meg, mint a természettudósokét. Kétségtelen tény, hogy a természettudomány sok területén lehetőség van kontrollált kísérletek végzésére, ezzel együtt jelentős az átfedés a társadalom- és természettudományok metodikája között. Egyrészt a társadalmi kérdések vizsgálatában is elterjedőben van a kísérletes módszer, amire jó példa a szerzők által hivatkozott PROGRESA-kutatás. A másik oldalon, a természettudomány területein a kísérletezést metodikai vagy etikai tényezők korlátozzák. Valószínűnek tartom például, hogy egy egészséges lóban is rögzíteni tudnánk valamely abnormális viselkedést egy gyakran ismételt frusztrációs helyzettel (Nagy et al., 2009), de ilyet nem teszünk, az abnormális viselkedés hátterének tisztázására a szociológiától, orvostudománytól kölcsönzött epidemiológiai elemzés marad a fő eszközünk (Nagy et al., 2008). A bonyolult jelenségek vizsgálata korszerű metodikájának elvi alapja egységes, e metodikát a természettudósok elsősorban a társadalomtudománynak köszönhetik, nem véletlen, hogy az ökológusok által gyakran használt statisztikai programcsomagot eredetileg épp társadalmi kérdések elemzésére dolgozták ki.

Biológusként van némi gyakorlatom a többtényezős problémák mintavételezési és elemzési kérdéseiben, ezért bátorkodtam véleményt mondani a szerzők kutatási összefoglalójáról (Kézdi – Surányi, 2008.). Ha karcos írásom elősegíti, hogy a hasonló szerkezetű rendszereket hasonló metodikával vizsgáló kutatók felvegyék a megszakadt párbeszéd fonalát, már megérte a partvonalról bemerészkednem erre a területre. Egy ilyen kommunikációnak a különböző tudományterületek képviselői között lehet komoly hozadéka, és járhat átmeneti kellemetlenséggel is. A magyar ökológia nagyjából túl van a hőskoron, amikor arra hivatkozva, hogy a „bugaci borókás” nem érdekli a „nyugatot”, házi kiadványokban megjelentett írásokkal is lehetett érdemeket szerezni. Biológus körökben mára talán konszenzus van abban, hogy a házi kiadványoknak, hazai folyóiratoknak fontos szerepük van a tájékoztatásban és ismeretterjesztésben, de nem pótolják a szakértői bírálat szigorú rendszerét. Ezért is örülök, hogy a szerzők tervezik megfelelő helyen publikálni tanulmányukat, és őszintén kíváncsi vagyok, egy rangos folyóirat elfogadja-e azt a statisztikát, ami helyett bírálatomban mást javasoltam. Megjegyzem, a publikálás nem formai követelmény. Etikai követelmény, a kutatást ellenőriztetni vagy egy rangos folyóirat szerkesztőségével, vagy az adatok közzétételével. Utóbbira példa a szerző által hivatkozott PROGRESA- és az általam hivatkozott PISA-vizsgálat; amúgy az adatbázis hozzáférhetővé tétele a szerzőktől is elvárható.

Kéretlen opponálásom során a tudományos folyóiratok szokásos bírálati gyakorlatát alkalmaztam. Kaptunk-e annyi információt a mintavételezésről, mérési módszerekről és adatfeldolgozásról, hogy ezek alapján az olvasó fel tudja mérni a munka korrektségét? Ezek alapján torzítatlan volt-e a mintavétel és a mérés? Ha nem, kellő gondossággal korrigáltak-e erre a szerzők? Alkalmasak-e a mérési és elemzési módszerek? A kötelező utolsó kérdés: megalapozottak-e a következtetések, s valóban az eredményekből következnek-e. Ezeket a szempontokat részletesen kifejtettem bírálatomban, és sommásan valóban minden kérdésre nemmel kellett válaszolnom.

A szerzők válaszaiból számomra az derül ki, hogy tökéletesen tisztában voltak a mintavételezési torzítással, tehát azzal, hogy a programiskolákat éppen a roma tanulók nevelése során felmutatott eredményeik alapján választották ki. Nem magyarázzák, hogy ezt a kérdést miért nem diszkutálták eredeti tanulmányaikban. Annyit közölnek, hogy etnikai bontásban nem könnyű beszerezni továbbtanulási adatokat, ami igaz lehet, főleg, ha erre nem is törekedtek. Nehéz konstruktív javaslatot tenni, mert továbbra sem tudhatjuk, hogy a pályázó iskolák közöltek-e továbbtanulási adatokat etnikai bontásban (valószínűleg igen, mert ez pályázati feltétel volt), vagy, hogy a kontrolliskolák között volt-e olyan, amelyiknek a pályázatát visszautasították. Etnikai bontás nélkül a program elindítása előtti továbbtanulási mutatók beszerezhetőek, ami alkalmas lenne a bázis- és kontrolliskolák programtól független összehasonlítására. Ezen túl a középiskolák nyilvántartják, hogy diákjaik melyik általános iskolából kerültek hozzájuk, tehát például a 2010-ben érettségizett diákok adatai alapján is lehetne korrekciót végezni. A szerzők az induktív gondolkodási teszt eredményeivel korrigálják a továbbtanulási mutatókat, bár a tanulmányban máshol hangsúlyozzák, hogy a továbbtanulás nem egyszerűen intelligenciaszint kérdése.

Válaszaikban a szerzők kifejtik, hogy a programnak valószínűleg volt hatása, mert a bázisiskolák „sok dimenzióban mások, mint a kontrolliskolák, és ezek mind olyan dimenziók, amik a program fókuszában álltak”. Ez igaz, de sajnos a program eredményessége nem igazolható a program módszertanával. Ha egyáltalán volt előnyük a bázisiskoláknak a roma gyerekek továbbtanulásában, fontos lenne tudni, hogy ez mire vezethető vissza. A Hatásvizsgálatban a szerzők leírják például, hogy a bázisiskolák pedagógusainak egynegyede egyetemi végzettséggel rendelkezett, a kontrolliskolákban az arány 4%. Nem említik ugyanakkor, hogy a kontrolliskolákban több mint kétszer annyian tanítottak képesítés nélkül (13% vs. 6%) mint a bázisiskolákban, ha jól értelmezem a kutatási összefoglaló 22. oldalán közölt táblázat hiányzó százalékértékeit. A pedagógusok végzettségében mutatkozó különbség sok mindent jelenthet. Valószínűsíthető, hogy a magasan képzett tanárok eredményesebben dolgoznak, de az sem zárható ki, hogy a „jobb” tanárok inkább választanak „jobb” iskolát (Kertesi – Kézdi, 2005), ami utalhat arra, hogy a bázisiskolák a programtól függetlenül „jobbak” voltak. Csak a szerzők tudhatják, hogy a pedagógusok végzettségére pontosan hogyan lehetne korrigálni (alsó tagozatban osztályonként, a felsőben csak iskolánként lehet?). A kérdés fontos, Kézdi Gábor ezzel tisztában van (Kertesi – Kézdi, 2005), tehát, ha a tanárok végzettségére valamiért nem lehet korrigálni, ennek kifejtése megért volna egy bekezdést.

A vita másik pontja az, hogy alkalmas volt-e a szerzők által használt elemzési mód a különbségek kimutatására. Furcsa érzés a többváltozós statisztikai modellek előnyeit magyarázni a szerzőknek, akik jól ismerik ezeket az eljárásokat, de válaszukban teljesen megkerülik a kérdést (helyette a Bonferroni-korrekció hasznáról és káráról írnak szakértő módon). Így nem nekik, hanem az olvasónak javaslom, példaként nézzen rá a Hatásvizsgálat 5.8 táblázatára, amely a bázisiskolák előnyét mutatja a továbbtanulásban (az induktív gondolkodási teszt eredményeire korrigálva). A szerzők által fontosnak tartott „szűkített mintában” öt független összehasonlítás szerepel egymástól nem független csoportokon (összes tanuló, roma, nem roma, hátrányos és nem hátrányos helyzetű). Az öt összehasonlítás közül egy csoportban, a nem roma tanulók továbbtanulási mutatójában jobbak a bázis iskolák 10%-os szignifikanciaszinten. Ez a 10% durván azt jelenti, hogy tíz összehasonlításban átlagosan egyszer véletlen zaj miatt kapunk látszólagos különbséget. Az ötből-egy persze több, mint a tízből-egy, de nem annyival, hogy ezt „szignifikáns” különbségnek tartsuk. Ugyanakkor az egész táblázatra ránézve határozott tendencia látszik, ami egy korrekt statisztikai modellben valószínűleg igazolható is lenne. Vannak persze táblázatok, ahol bonyolultabb a mintázat. És végképp nem segít, ha a különbségek attól lesznek szignifikánsak, ha elhagyunk két változót a mért

ötből (ezt neveztem kicsemegézésnek). A megfelelő statisztikai elemzés tisztázná mindezt, és érzésem szerint erősítené is az eredményeket, amelyek „tartalmáról” azonban jelen állapotában nem tudok véleményt mondani. Most ugyanis azt látjuk, hogy a roma tanulók továbbtanulási esélye statisztikailag nem jobb a programiskolákban a kontrollhoz képest, ha az adatokat a kognitív készségre korrigálják. Ugyanez a helyzet a szövegértési feladattal is; a roma tanulók korrigált eredményei nem jobbak a bázisiskolákban, pontosabban, egy húszszoros összehasonlításban csak egy esetben éri el a különbség a 10%-os szignifikanciaszintet (negyedik évfolyam, szűkített minta). Ezért írtam, hogy jelenlegi formájában a kutatási összefoglaló nem nevezheti a programot „sikeresnek” a roma tanulók szempontjából, még akkor sem, ha kiderül, hogy a torzított mintavételnek önmagában nem volt hatása.
Külön kérdés: miként változik a teljesítmény az osztályok összetétele alapján. Szerzők a hatásvizsgálathoz képest mostani válaszaikban óvatosabban fogalmaznak: „a programiskolák előnye több eredményváltozó esetében leginkább akkor mutatható ki, ha a roma tanulók aránya nem haladja meg a 20–30 (egyes esetekben 40) százalékot”. Válaszukban egyszerűen nem foglalkoznak azzal, hogy miért teszik a Hatásvizsgálat magyar nyelvű változatában 40%-ra, az angol változatban 20%-ra azt az értéket, amit ha a romák aránya meghalad, a program előnye eltűnik. Jó lett volna a szerzőktől hallani, mi az álláspontjuk: 20% vagy 40%, vagy esetleg az, hogy ez valójában nem ítélhető meg vizsgálatukból, és a következtetést visszavonják. Ez a kérdés fontos, ha figyelembe vesszük, hogy a vizsgált iskolákban átlagosan 40% körüli volt a roma tanulók aránya. Az ábrákból ugyanakkor szembetűnő, hogy a roma tanulók arányának növekedésével zuhan az összes gyerek továbbtanulási esélye, és ez különösen jellemző a bázisiskolákban. A szerzőknek igazuk lehet abban, hogy a grafikonokból nem szabad messzemenő következtetéseket levonni, végül is ők ismerik csak elemzésük bizonytalanságait, de az összefüggés annyira markáns, hogy ez megérne egy korrekt analízist és diszkussziót. Most másodszor ránézve az angol és magyar nyelvű változat továbbtanulási (9.7 ábra) és szövegértési (9.6 ábra) ábráira, helyesbítenem kell, amit bírálatomban írtam: az angol változatban a bázisiskolák adatait tekintve nemcsak a magas osztályokat, hanem az alacsony roma arányú osztályokat is egyszerűen kihagyták az elemzésből. A szerzők nem adtak erre magyarázatot.

A harmadik vitapont a nem kognitív tesztek leírásának és alkalmasságának kérdése. A szerzők külön tanulmányban fejtik ki a nem kognitív tesztek kidolgozásának módját, és vázolják a validálás folyamatát (Surányi – Kézdi, 2010). Az írást hasznosnak találom, mert kristálytisztán vázolja föl a mérés szempontjait, a metodikai buktatók egy részét. Remélem, kellő visszhangra talál a kutatók körében, ha a szerzők publikálják a validálási folyamat részleteit. A vitánkhoz ugyanakkor ez a fejtegetés kevéssel járul csak hozzá, mert a szerzők nem válaszolnak a kérdésekre.

A fő gond: ha egy tanulmány nem közli a mérés módszereit, akkor az olvasó nem tudhatja, hogy pontosan mit mértek a vizsgálatban. Természetesen jól ismert tesztek alkalmazásakor elegendő a hivatkozást megadni. A szerzők adnak hivatkozásokat, de a teszteket nem eredeti formájukban használták, elhagytak meg nem nevezett kérdéseket, volt, hogy a kérdőívet átültették gyereknyelvre, és minden kérdést magyarítani is kellett. Ilyen mértékű változtatás esetén közölni szokás a föltett kérdéseket. A szerzők a nem kognitív tesztekkel kapcsolatos válaszukban (Surányi – Kézdi, 2010) sajátos taktikát követnek: részletesen kifejtenek nem kritizált lépéseket, lecsapnak a bíráló látszólagos tévedéseire, és továbbra is titokban tartják a tesztkérdéseket. A kérdések mellőzése nem indokolható terjedelmi korlátokkal, 2-3 többletoldalt jelentett volna a 130 oldalas összefoglalóban. Érvként az sem hozható föl – a szerzők nem is teszik –, hogy a kérdések közreadása nehezítené további vizsgálatok kivitelezését, mert a kérdőívek jellege ismert. A részletkérdésekről internetes írásomban mondok véleményt (WEBCÍM >), mert a szerzők válasza súlyos ellentmondásokat tartalmaz, amit itt nem lehet kifejteni.

Minden nem kognitív vizsgálat értelmezését nehezíti, hogy ezeknél is fennáll a szisztematikus hiba lehetősége. Nemcsak az, amire a szerzők is gyanakodnak, tehát hogy a tanárok esetleg közvetlenül irányíthatták a gyerekek válaszait a tesztek kitöltése közben, hanem az is, hogy ha az oktatási integrációs programban súlyt fektettek mindazon tényezőkre, amiket a nem kognitív tesztek mérnek (előítéletesség, önértékelés stb.), akkor a pozitív válaszok az iskolai elvárásnak megfelelően inkább megjelenhetnek a bázis – mint a kontrolliskolák tanulóinál, függetlenül az értékek internalizációjának sikerétől. Erre a fölvetésemre a szerzők nem reagáltak.

A válaszok után „sommás” véleményemet finomítani vagyok kénytelen. Az összefoglaló hiányosságai és ellentmondásai nem félreértésből vagy figyelmetlenségből, hanem a szerzők tudatos döntéséből adódnak. Kézdi Gábor és Surányi Éva írásait furcsa kettőség jellemzi: óvatosan mérlegelnek, és nagyon biztos következtetéseket tesznek közzé. Ez különösen szembetűnő az Educatio folyóiratban megjelent tanulmányukban. A szövegértési és továbbtanulási eredményeket a Hatástanulmányhoz hasonló módon ismertetik, azonban a korrekció utáni eredmények bemutatásakor nem közlik, hogy a különbségek szignifikanciája elolvad, ehelyett azt állítják, hogy „az eredmények e modellek esetében is hasonlóak a korábbiakhoz”, illetve „valamennyit csökken, de továbbra is pozitív marad”. A magyar nyelv szabályai szerint ez a két állítás igaz, a statisztika szabályai szerint azonban nem. Annyira nem, hogy magára valamit is adó folyóirat ezért hibajegyzéket követelne.

Bizonyos esetekben tehát nyilvánvaló, hogy a szerzők eltúlozzák eredményeiket, elhallgatnak esetleges torzítási forrásokat, ezért számomra továbbra is kérdés, hogy valóban megfelelően kezelték-e a mérleget, amikor az oktatási integrációs program sikerességét kommunikálták. Mivel mindezzel tisztában vannak, a közlés módja etikai kérdéseket is fölvet. Sajnálom, hogy „az alaptalan, nem megfelelő körültekintéssel megírt” kritikámat sértőnek találták, kifejezetten örülnék, ha rászánnák magukat imponáló volumenű és részletességű adataik korrekt újraelemzésére.
 

Kulcsszavak: közoktatás, integrált oktatás, roma, oktatáspolitika, oktatási reform
 

IRODALOM

Kabai Péter (2010): Egy sikeres integrációs program hatásainak elemzése. Magyar Tudomány. 3, WEBCÍM >

Kertesi Gábor – Kézdi Gábor (2005): Általános iskolai szegregáció. I–II. Közgazdasági Szemle. 52, 4, 317–479. • WEBCÍM > • WEBCÍM >

Kézdi Gábor – Surányi Éva (2008a): Egy sikeres iskolai integrációs program tapasztalatai. Kutatási összefoglaló. Educatio Kht., Budapest WEBCÍM >

Kézdi Gábor – Surányi Éva (2009): A Successful School Integration Program. An Evaluation of the Hungarian National Government’s School Integration Program, 2005–2007. Roma Education Fund. WEBCÍM >

Kézdi Gábor – Surányi Éva (2010a): Válasz Kabai Péternek az oktatási integrációs program hatásvizsgálatával… Magyar Tudomány. 2010/7, 858–864.

Kézdi Gábor – Surányi Éva (2010b): Mintavétel és elemzési módszerek az oktatási integrációs program hatásvizsgálatában, és a hatásvizsgálatból levonható következtetések. Budapesti Munkagazdaságtani Füzetek. 2010/2, MTA Közgazdaságtudományi Intézet–Budapesti Corvinus Egyetem, Budapest WEBCÍM >

Nagy Krisztina – Bodó G. – Bárdos Gy. – Harnos A. – Kabai P. (2009): The Effect of a Feeding Stress-Test on the Behaviour and Heart Rate Variability of Control and Crib-Biting Horses (with Or without Inhibition). Applied Animal Behaviour Science. 121, 2, 140–147.

Nagy Krisztina – Schrott A. – Kabai P. (2008): Possible Influence of Neighbours on Stereotypic Behaviour in Horses. Applied Animal Behaviour Science. 111, 321–328.

Surányi Éva – Kézdi Gábor (2010): Nem-kognitív készségek mérése az oktatási integrációs program hatásvizsgálatában. Budapesti Munkagazdaságtani Füzetek. 2010/1 MTA Közgazdaságtudományi Intézet–Budapesti Corvinus Egyetem, WEBCÍM >