Claude Shannon 1940-ben az MIT-n szerzett matematikai PhD- és villamosmérnöki MSc-fokozatot. (Noha az MSc-tézis már 1938-ban elkészült, a fokozatot csak 1940-ben kapta meg, mert hiányzott a nyelvvizsgája.) Miközben Vannevar Bush differenciálegyenlet-megoldó mechanikus analóg számítógépének fejlesztésén dolgozott, észrevette, hogy a sok reléből álló, addig ad hoc módon konstruált áramköröket egy akkor már száz éve ismert kalkulus, a George Boole angol matematikus által kidolgozott és róla elnevezett algebra felhasználásával áttekinthető módon meg lehet tervezni. Az erről szóló dolgozat (Symbolic Analysis of Relay and Switching Circuits) 1938-ban jelent meg a Transactions of the American Institute of Electrical Engineers folyóiratban. Ezért a dolgozatért elnyerte az American Institute of Electrical Engineers Alfred Noble- (nem Nobel!) díját.

Herman Goldstein A számítógép Pascaltól Neumannig című, 1987-ben magyarul is megjelent könyvében minden idők legjobb szakdolgozatának nevezi Shannon diplomamunkáját. Shannon sikerén felbátorodva Vannevar Bush azt tanácsolta, hogy PhD-értekezését a mendeli genetika matematikai megalapozásáról írja. Shannon An Algebra for Theoretical Genetics című disszertációját 1940-ben védte meg az MIT-n.

Shannon 1940-ben a princetoni Institute for Advanced Study munkatársa lett, itt lehetősége nyílt arra, hogy olyan kiváló matematikusokkal vitassa meg problémáit, mint Hermann Weyl és Neumann János, de alkalmanként találkozott Albert Einsteinnel és Kurt Gödellel is. Érdeklődése megoszlott a különböző matematikai diszciplínák között, eközben megalapozta az információelméletet. Bolyaihoz hasonlóan „semmiből egy új, más világot teremtett”. 1948-ban közölt A Mathematical Theory of Communication c. dolgozatában az elmélet már teljes fegyverzetben jelenik meg. Shannon definiálja az információ mennyiségének – annak tartalmától és fizikai megvalósításától – független mértékét, az információ tárolásának és továbbításának korlátait tökéletesen hibátlan kódolás és zajmentes csatorna, valamint véletlen hibával terhelt (zajos) kódolás és zajos csatorna esetén. Ez a mű azért különösen döbbenetes, mert tisztán matematikai jellegű egzisztenciatételeket bizonyít nem konstruktív eszközökkel, ugyanakkor az általa kiszámolt korlátokat jól közelítő algoritmusokat lehet konstruálni. Igaz, erre ötven évet kellett várni.

Hasonló jelentőségű az a tény, hogy túlnyomórészt digitális módszereket alkalmazott, ami számos területen (hang- és képrögzítés) szintén csak ötven évvel később érte el a korábbi analóg módszerek minőségét.

Shannon a második világháborúban elsősorban ballisztikával foglalkozott: a V1- és V2-rakéták ellen dolgozott ki a kor technikai lehetőségeihez képest sikeres védelmet. Valójában módszerének lényege itt a zajos adatok szűrése volt. Természetesen kriptográfiával is foglalkozott: az ő eljárását használta a SIGSALY-telefon, amivel Churchill és Roosevelt biztonságosan tudott beszélgetni. Erre a célra a régóta ismert, egyszer használható kulcsú (one-time pad) kódolás folytonos idejű változatát alkalmazta: lakklemezre rögzített zaj szolgált kulcsként. A megvalósításban a két zaj szinkronizálása jelentette az egyik legnagyobb technikai problémát. Shannon erről szóló, nem titkosított dolgozata csak 1949-ben jelent meg: Communication Theory of Secrecy Systems, a Bell System Technical Journal-ben.

A műszaki-matematikai közösség tíz évig csak magyarázta Shannon elméletét, ugyanakkor kampánycélból a tényleges alkalmazási területétől távol álló tudományágakban (például esztétika) is hivatkoztak rá mint később a differenciáltopológia szerencsétlenül ,,katasztrófaelméletnek” nevezett egzakt matematikai diszciplínájára.

A kezdeti problémák ellenére az információelmélet azóta a matematika, a fizika és részben a biológia kutatásának adekvát módon használt, fontos eszköze lett.

A matematikai apparátus

Tekintsük át röviden a Shannon által kidolgozott matematikai apparátust, anélkül, hogy elvesznénk a részletekben, és nehézkes matematikai írásmóddal terhelnénk az olvasót. Shannon munkássága viszonylag elemi valószínűség-számításon alapul, nevezetesen a diszkrét, véges állapotterű véletlen folyamatok elméletén. Az X(t) diszkrét (hagyományosan másodpercekben mért) t időtől függő véletlen folyamat, amelynek állapottere egy k elemű ábécé betűiből áll.

a) Az információforrás definíciója és jellemzői • Az X(t) véletlen folyamatot információforrásnak (röviden szövegnek) nevezzük. Az egyes betűk előfordulásának valószínűségeit a P := (p₁,…,p_k) eloszlás adja meg. Az egyszerűbb tárgyalásmód kedvéért feltesszük, hogy az X(t) folyamat független valószínűségi változók sorozata. Az ilyen forrásokat nevezik emlékezet nélkülieknek, és egyszerűen csak egyetlen betűvel, X-szel jelölik. A továbbiakban szinte kivétel nélkül emlékezet nélküli forrásokkal foglalkozunk.

Mivel az információtároló és -feldolgozó eszközök bináris számokkal dolgoznak, kézenfekvő az információ mennyiségét bitekben mérni: egy adott szöveg annyi információt tartalmaz, ahány biten kódolható egy hibamentesen kódoló szerkezettel. Egy k betűs ábécé egy betűjének fix hosszúságú bitsorozattal való hibamentes kódolásához felső egész rész log2k (azaz a log₂k-nál nagyobb legkisebb egész számú) bit szükséges. (Az információelméletben a kódolás bináris volta miatt a logaritmus alapja mindig 2, ezt a továbbiakban nem jelöljük.) Gondoljunk a genetikai kódra: 20 aminosavat kell egy négybetűs ábécé betűivel kódolni, 2 betűvel csak 16 aminosav kódolható, a tényleges genetikai kód hárombetűs (ezzel elvileg 64 aminosavat lehetne kódolni). Az információforrás átlagos kibocsátási sebességét (R rátáját) bit/másodpercben mérjük, feltételezve, hogy a forrás másodpercenként egy betűt bocsát ki.

Heurisztikusan sejthető, hogy R az egyenletes eloszlású (legrendezetlenebb) forrás esetén maximális. Shannon bebizonyította, hogy emlékezet nélküli források esetén R csak a betűk szövegbeli P eloszlásától (relatív gyakoriságától) függ, mégpedig az alábbi módon:

R = H(P) := -(p₁ log p₁+…+ p_k log p_k).

A legenda szerint Neumann Jánostól kért tanácsot, hogyan nevezze az általa talált H(P) „bizonytalansági függvényt”. Neumann azt javasolta, hogy nevezze entrópiának (forrásentrópiának), mert egyrészt ezt a függvényt a statisztikus mechanikában Ludwig Boltzmann már hetven éve alkalmazta a korábban a termodinamikában Rudolf Clausius által bevezetett entrópiára, másrészt senki sem érti pontosan az entrópia fogalmát, ezért bármilyen vitában Shannonnak lesz előnye.

A továbbiakban az emlékezet nélküli X források esetén a H(P) függvényt H(X)-szel jelöljük, hogy megkülönböztessük más, emlékezet nélküli források entrópiájától.

b) Az információelméleti entrópia tulajdonságai • A H entrópiafüggvény fontos tulajdonsága, hogy két egymástól független X és Y forrás együttes entrópiája az egyes források (eloszlások) entrópiájának összege: H(X,Y)= H(X) + H(Y). Ha X és Y nem függetlenek, akkor H(X,Y) < H(X) + H(Y). Ennek az a szemléletes oka, hogy ha X és Y függenek egymástól, akkor például Y ismeretében valamennyi ismeretet nyerünk X-ről.

c) Torzítatlan forráskódolás (adattömörítés) • Feladatunk az, hogy egy K hosszúságú X jelsorozatot hibátlanul helyreállítható módon alakítsunk át egy N hosszúságú Y bináris jelsorozattá, és eközben az N/K átlagos kódhossz a lehető legkisebb legyen. Ezt általában az eredeti X jelsorozat k hosszúságú blokkokra osztásával érik el (hosszú szöveg esetén a blokkhosszat növelik) úgy, hogy az átalakítás eredményeként kapott Y bináris sorozat n(k) hosszúságú blokkonként dekódolható legyen.

Shannon bebizonyította, hogy N/K nem lehet kisebb, mint a H(X) forrásentrópia, ugyanakkor ez a korlát éles, a k blokkhossz növelésével a bináris kód átlagos hossza tetszőlegesen megközelíti a forrásentrópiát.

Egy k betűs ábécé betűinek gyakoriságát figyelembe vevő Huffman-kód változó hosszúságú, ún. prefix kód, azaz egyetlen kódszó sem kezdőszava egy hosszabb kódszónak. Ez a tulajdonság lehetővé teszi a dekódolást. A Huffman-kód a betűnkénti kódolási eljárások között optimális.
Hosszú szöveg esetén a módszer blokkonkénti alkalmazásával érhető el, hogy a betűnkénti átlagos kódhossz közelítse a forrásentrópiát, de ez az egyszerűség rovására megy. Már kétbetűs blokkok esetén is nagy a kódolandó szimbólumok száma, és az egyes szavak valószínűségeinek becslése sok számolást igényel, különösen az emlékezettel bíró források esetén. Más elven működik a később kidolgozott Lempel–Ziv-kód, amely nem igényli az eloszlás ismeretét, ennek hiányát a kódolás adaptivitásával pótolja.

d) Csatornakódolás • Egy jelsorozat zaj nélküli csatornán való átvitelének feladata azonos a c) pontbeli tömörítési feladattal, hiszen zaj nélküli csatornán tetszőleges jelsorozat hibátlanul átküldhető.

A továbbiakban feltesszük, hogy bitsorozatot kívánunk zajos csatornán minimális hibával átküldeni (ha az üzenet ábécéje több elemű, előbb alkalmazzuk rá a c) pontbeli forráskódolást). A zajos csatornán átküldött szöveg a vevőhöz véletlen hibával terhelten érkezik meg; a zaj mértékét a Shannon által pontosan definiált csatornakapacitással mérjük: minél kisebb a zaj, annál nagyobb a csatornakapacitás. Ezt egy példával illusztráljuk. Tegyük fel, hogy a csatorna torzító hatása (zaj) a következőképpen érvényesül: minden bit q ≠ 1/2 valószínűséggel ellenkezőjére változik. Ekkor a C csatornakapacitás 1 - h(q), ahol h(q) := -q log q - (1 - q) log(1 - q) az entrópiafüggvény. Ha q = 1/2, akkor 1 - h(q) = 0, összhangban azzal, hogy ilyenkor a kimeneti jelsorozat a bemenettől függetlenül olyan bitsorozat lesz, amelyben a 0 és az 1 valószínűsége 1/2, tehát semmit nem tudunk meg a bemenetről, ezt a jelenséget használják fel az egyszer használható kulcsú titkosításnál.

Az alábbi példa (Hamming-kód) mutatja, hogyan történik a hibajavítás. Tegyük fel, hogy 16 lehetséges üzenet egyikét akarjuk kiválasztani. Ezek 4 bittel kódolhatók. De a hibajavítás érdekében használjunk 7 bitből álló kódszavakat (azaz R = 4/7 átviteli sebességet). A 16 kódszót válasszuk meg úgy, hogy bármely kettő Hamming-távolsága legalább 3 legyen, tehát legalább 3 pozícióban különbözzenek egymástól. Matematikai előismeretek nélkül némi fáradságot igényel 16 ilyen 7 bites sorozatot találnunk, de a lineáris algebra segítségével a feladat egyszerűen megoldható. Ha a továbbítás során a zaj a 7 bites kódszónak csak egy bitjét változtatja meg, akkor ez a hiba javítható. Ekkor ugyanis a ténylegesen elküldött kódszó 1 Hamming-távolságra lesz a vett sorozattól, míg a többi 15 legalább 2 távolságra.

A hibás dekódolás valószínűségének csökkentéséhez a bemenő K hosszúságú bitsorozatot N>K hosszúságú bitsorozattal kell kódolni. A naiv szemlélet azt sugallja, hogy minél hosszabb szöveget küldünk el, annál hosszabb kódot kell továbbítanunk a hibás dekódolás valószínűségének alacsony szinten tartásához. Az R := K/N rátának 0-hoz kell tartania.

Ezért döbbenetes Shannon tétele, amely szerint ha az átvitel R rátája kisebb a C csatornakapacitásnál, akkor bármely 1-hez tetszőlegesen közeli p valószínűségre és elég nagy K-ra van olyan hibajavító kódolás, hogy az üzenet legalább p valószínűséggel helyesen dekódolható. Ha R > C, akkor, bármilyen kódolási algoritmust használva K hosszának növelésével a helyes dekódolás valószínűsége 0-hoz tart. A fenti példában a rátának kisebbnek kell lennie, mint 1 -h(q).

A tétel bizonyítása nem konstruktív: azon a tényen múlik, hogy az N hosszúságú kódszavak nagy valószínűséggel a hibajavításhoz elegendő nagyságú Hamming-távolságra lesznek egymástól, ha a 2N lehetséges kódszó közül egyenletesen sorsoljuk ki azokat.

Az olvasót talán meglepi az a tény, hogy a fenti tárgyalásmód alapján a csatornakapacitás nem lehet nagyobb 1-nél, de itt feltettük, hogy a csatorna másodpercenként 1 bitet képes továbbítani. A gyakorlatban az átviteli sebesség ennek sokszorosa (a „széles sávú internet” jelenlegi ajánlataiban van 120 millió bit/másodperces is, nyilván ez távol áll a professzionális célokra használt csatornák kapacitásától).

1993-ig nem sikerült olyan hibajavító kódot konstruálni, amelyik megközelíti a Shannon-kapacitást. 1960-tól az algebrai módszereket alkalmazó – a szerzők nevének kezdőbetűiről elnevezett – BCH-kód volt a legnépszerűbb egyszerű kódolhatósága és dekódolhatósága miatt (ezt használják például a CD- és a DVD-lejátszók kódolásánál). Ez azonban meg sem közelíti a Shannon-határt, sőt a kód hosszának növelésekor csak a ráta 0-hoz tartásával érhető el a kis hiba-valószínűség.

A Claude Berrou, Alain Glavieux és Punya Thitimajshina által 1993-ban kifejlesztett turbó kód, amely az algebrai módszereket, a véletlent és a párhuzamos kódolást használja, már megközelíti a Shannon-határt (Berrou et al.: Near Shannon Limit Error-correcting Coding and Decoding: Turbo-Codes, 1993).

f) Folytonos idő és állapottér • Shannon eredeti, 1948-as dolgozatában szerepel a zajos csatorna kapacitásának meghatározása abban az esetben, ha folytonos idejű és valós állapotterű S(t) jeleket (s mint signal, például: telefon, rádió) továbbítunk. Ha N(t) a zaj, a csatornakapacitás a log [(S+N)/N] mennyiséggel fejezhető ki. Itt S és N argumentuma azért hiányzik, mert a csatornakapacitás képlete az időtől speciális módon függő jelre és zajra érvényes.

A Shannon-féle ötszögprobléma
Lovász-megoldása

A 0 hiba-valószínűség elérése speciális zajos csatornán az alábbi eredménnyel illusztrálható. Meg kell jegyeznünk, hogy a hiba-valószínűség csak akkor lehet 0, ha vannak hibátlanul továbbítható jelsorozatok. A csatornakapacitás csak nagyon speciális esetekben és nehéz kombinatorikai eszközökkel számolható ki.

Tegyük fel, hogy egy ötszög csúcsaira sorban felírjuk az u, v, w, m, n betűket, és a szomszédos

betűk összetéveszthetők, az átlók végpontjain lévők (például u, w) pontosan megkülönböztethetők. Két k hosszúságú U és V betűsorozatot (blokkot) akkor lehet összetévesztés nélkül továbbítani, ha az U blokkban van olyan betű, amelyik a V blokk valamelyik betűjével nem téveszthető össze. Ha nem használunk blokk-kódolást, akkor másodpercenként nyilván legfeljebb két betűt lehet hibamentesen továbbítani. Az ([uu], [vw], [wn], [mv], [nm]) öt betűpárból bármelyik kettő megkülönböztethető, tehát két másodpercenként (kettő hosszúságú blokkokon) öt betű küldhető hiba nélkül, azaz másodpercenként Ö5 betűt lehet hibamentesen továbbítani.

Ezzel látszólag semmit se nyertünk, mert Ö5 nem egész szám, de 4 másodperc alatt már nyerünk 9 = 25 - 16 betűt. A tapasztalat szerint a blokkméret növelésével az egy másodpercre jutó nyereség – ha kicsit is – nő. Lovász László bebizonyította, hogy a kétbetűs blokkot alkalmazó kódolásnál elvileg sincs jobb (On the Shannon Capacity of a Graph, 1979). Ez az eredménye szerepelt Wolf-díja (1999) indoklásában is.

Shannon meghatározó szerepet játszott az információelmélet fejlődésében a további években is. 1961-ben megjelent dolgozatának úttörő szerepe volt a modern információelmélet központi kutatási területének, a hírközlési hálózatok elméletének elindításában (Two-way Communication Channels, 1961).

A Shannon által kidolgozott információelméletnek számos alkalmazása van a matematika más területein. Itt röviden megemlítjük a statisztikai alkalmazásokat és az információelméletnek az ún. dinamikai rendszerek elméletére gyakorolt hatását.

Statisztikai alkalmazások

Ismeretes, hogy a statisztikai döntések hiba-valószínűségeit (P [elfogadjuk a hipotézist, pedig nem igaz] és P [elvetjük a hipotézist, pedig igaz]) a minta elemszámának növelésével lehet egyidejűleg csökkenteni.

Ha a mintavétel költséges, akkor az előírt kis hiba-valószínűségek eléréséhez minimálisan szükséges mintaelemszám átlagos értékét érdemes optimalizálni. Wald Ábrahám a második világháború alatt lőszerek selejtarányának vizsgálatára dolgozta ki az ún. szekvenciális mintavételi eljárást (a korábbi minták eredménye alapján döntünk, hogy elfogadjuk vagy elvetjük a hipotézist, vagy új mintát veszünk. Wald az eljárás elméleti alapjait csak 1948-ban közölhette.

Az átlagos mintaelemszámra adott felső becslés információelméleti módszeren alapul. A szekvenciális eljárásnak ma elsősorban a gyógyszerek klinikai kipróbálásánál van jelentősége: egy önkéntes kísérleti személyt nagy összeggel kell díjazni.

Csiszár Imre egyik kedvelt alkalmazási területe az eloszlások közötti eltérésnek, az entrópiához hasonlóan megadható mértékszámaira Nyikolaj Csencov által kezdeményezett ún. információs geometria. Ezt sikerrel alkalmazzák a sokdimenziós gyakoriságtáblák elemzésekor a modellalkotásban. Az érdekesség kedvéért megemlítjük, hogy ebben a geometriában érvényes a Pitagorasz-tétel analógja.

Dinamikai rendszerek,
Kolmogorov–Szinaj-entrópia

Ez a paragrafus matematikai fontossága mellett direkt és közvetett magyar vonatkozásai miatt is érdekes. Kevesen tudják, hogy Andrej Nyikolajevics Kolmogorovnak számos magyar „szellemi unokája” van, közülük négyet az MTA rendes tagjává választottak.

A matematikai fizikában dinamikai rendszereknek nevezzük az ún. mértéktartó leképezéseket; például az emlékezet nélküli források felhasználásával konstruálhatók a legegyszerűbb ilyen leképezések.

Neumann János a harmincas évek végén azt sejtette, hogy ezek a leképezések mértékelméleti szempontból ekvivalensek. Andrej N. Kolmogorovnak (Az egységnyi időre eső entrópia az automorfizmusok metrikus invariánsa, 1959) és Jakov G. Szinajnak (A dinamikai rendszerek entrópiájának fogalmáról, 1959) sikerült általános dinamikai rendszerekre az entrópiát úgy definiálni, hogy emlékezet nélküli források esetén az megegyezzen a Shannon-entrópiával, és bebizonyították, hogy a különböző entrópiájú rendszerek nem ekvivalensek. 1970-ben Donald Ornstein (Bernoulli Shifts Are Isomorphic, 1970) igazolta, hogy az azonos entrópiájú, emlékezet nélküli források alapján konstruált dinamikai rendszerek mértékelméleti szempontból valóban ekvivalensek.

A magyar matematikai iskola jelentősen hozzájárult az információelmélet fejlődéséhez. Noha Shannon 1961-es dolgozatában már foglalkozott a többfelhasználós csatornákkal, ezt az elméletet az 1970-es években dolgozták ki részletesen. Ebben jelentős szerepe volt az MTA Matematikai Kutató Intézete Csiszár Imre által vezetett csoportjának, amely a szakterület nemzetközi élvonalához tartozott. Eredményességüket formálisan is elismert nemzetközi sikerek bizonyítják.

1. Csiszár Imre és Körner János Information Theory: Coding Theorems for Discrete Memoryless Systems című könyve a tudományterület alapvető monográfiája (1981, második kiadás 2011).

2. Az 1972 óta az IEEE Information Theory Society (URL1) évenként megrendezett kongresszusán odaítélt Shannon-díjat (ez kezdetben meghívás volt egy kiemelt előadás tartására, később alakult jelentős pénzjutalommal járó kitüntetéssé) eddig három magyar matematikus kapta meg: Csiszár Imre (1996), Marton Katalin (2013) és Körner János (2014).

3. Csiszár Imrét 2015-ben az IEEE Hamming-érmével tüntették ki.

A kutatócsoport további két tagja, Marton Katalin és Körner János foglalkozott közvetlenül a Shannon által kitűzött problémakörrel. Marton Katalin később a valószínűség-számítás egyik legmodernebb ágával, a mértékkoncentrációval foglalkozott. Egyik érdekes eredménye az ún. blow up lemma elegáns információelméleti bizonyítása. Körner János az információelmélet kombinatorikai alkalmazásaiban ért el jelentős eredményeket. A kombinatorikai alkalmazás egyik csúcsteljesítménye az öt magyar szerző dolgozata (Csiszár I. – Körner J. – Lovász L. – Marton K. – Simonyi G.: Entropy Splitting for Antiblocking Corners and Perfect Graphs, 1990).

A fentiekben kissé felborítottuk a történeti sorrendet, ugyanis az információelmélet magyar matematikai iskolájának megalapítója kétségkívül Rényi Alfréd, aki korai halála (1970) miatt csak Csiszár Imrének és részben Nemetz Tibornak volt közvetlen mestere. Az 1970-es években az információelmélet már szigorú matematikai alapokon állt, és jelentős matematikai apparátust alkalmazott. A magyar iskola Rényi Alfréd kezdeményezésére Csiszár Imre vezetésével éppen akkor indult, és világviszonylatban is kiemelkedőt alkotott. Az iskolateremtésben így Csiszár Imrének volt jelentős szerepe.

A Rényi-entrópia

Röviden ismertetjük Rényi hozzájárulását az információelmélethez.

A H(P) Shannon-entrópia felfogható az I_j egyedi információk átlagaként, ahol I_j = -log p_j, hiszen H(P) = -(p₁ log p₁+…+ p_k log p_k).

Rényi az átlag helyett egy általánosabb közép fogalma segítségével egy új entrópiacsaládot vezetett be, a Rényi-féle alfa-entrópiát, amelyet a Ha(P) := [log(p₁^a +…+ pka]/(₁^-a) formula definiál. A formulában alfa helyett áll a. Ennek határértéke, ha a → 1, éppen a Shannon-entrópia.

Belátható, hogy független X és Y (P és Q eloszlású) valószínűségi változókra Ha(X,Y) = Ha(X) + Ha(Y), viszont nem független valószínűségi változókra az együttes entrópia lehet nagyobb is, mint az egyes entrópiák összege (On Measures of Entropy and Information, 1960). Az a-entrópia a nemnövekvő, folytonos függvénye.

A Rényi-entrópia a hetvenes években a statisztikus fizikával foglalkozók körében nagy népszerűségre tett szert, mert jól alkalmazható a nagyközönség által is ismert látványos fraktálok leírásában.

Nemetz Tibor elsősorban a kriptográfiában alkotott jelentőset, emellett fontos mértékelméleti eredményeket ért el, és foglalkozott a magyar nyelv entrópiájának meghatározásával is.

Fritz József tudományos munkásságát szintén az információelmélettel kezdte, majd 1973-ban kiment Moszkvába, ahol a Távközlési Kutatóintézetben Roland Lvovics Dobrusin éppen a statisztikus fizika szigorú matematikai megalapozásában ért el alapvető eredményeket. Ehhez Fritz József is csatlakozott, így bizonyos értelemben visszatért az információelmélet fizikai forrásához. Dolgozataiból ma sem hiányzik az entropy production kifejezés.

Gács Péter, az elméleti számítástudomány kiemelkedő kutatója munkásságának kezdetén Körner Jánossal közösen alapvető eredményt ért el az ún. közös információra vonatkozóan, nevezetesen, hogy két korrelált forrás esetén megadható-e az egyiknek és a másiknak olyan kódja, hogy azok nagy valószínűséggel egyenlők (Gács – Körner: Common Information Is Far Less than Mutual Information, 1973).

A Budapesti Műszaki Egyetem információelméleti iskolájának megalapítása Csibi Sándornak köszönhető. Tanítványa, Györfi László vált a Műegyetem vezető információelméleti kutatójává, akinek számos, ma már külföldön dolgozó tanítványa ért el jelentős eredményeket.

Végül mindenképpen meg kell emlékeznünk a méltatlanul elfeledett Korodi Albert (1898–1995) villamosmérnökről, aki Magyarországon először foglalkozott információelmélettel.

Korodi Albertet sok más műszaki probléma mellett elsősorban a folytonos jelátvitel érdekelte. 1916-ban érettségizett a Markó utcai Főreálban. Ugyanabban az évben megnyerte az Eötvös Loránd matematikaversenyt, valamint (Jendrassik György és Szilárd Leó mögött) negyedik díjat kapott az akkor induló Károly Irén fizikaversenyen. Beiratkozott a Budapesti Műegyetemre, de Szilárd Leó hívására tanulmányait a charlottenburgi Technische Hochschulén fejezte be.

1933-ban hazatért, és a Philips gyár főmérnökeként dolgozott, majd annak államosítása (1950) után a Távközlési Kutatóintézet főmunkatársa lett. Eközben információelméletet tanított a Mérnöktovábbképző Intézetben. 1953-ban írta hallgatói számára az első magyar nyelvű információelmélet jegyzetet, amely mindössze ötven oldalon, a mérnökök számára érthető matematikai apparátust használva ismertette az információelmélet minden fontosabb eredményét.

Shannon életéből és munkásságából azt a tanulságot vonhatjuk le, hogy ha egy kiemelkedő műszaki és matematikai tehetség észreveszi egy korszaknak az átlagemberek számára is érthető problémáit (áttekinthetetlen áramkörök, túlterhelt, zajos távközlési hálózatok, az ellenség által megfejthető szupertitkos üzenetek), és széles körű a matematikai érdeklődése, akkor viszonylag egyszerű matematikai eszközök alkalmazásával is képes a problémák lényegét feltáró finom analízisre és ezáltal olyan új elmélet megalkotására, amely a matematika fejlődésére is nagy hatással van. A magyar iskola az 1970-es években kapcsolódott be az információelmélet kutatásába. Ekkor az elmélet már elismert, a modern matematika gazdag eszköztárát alkalmazó diszciplína volt. A Csiszár Imre által vezetett iskola világviszonylatban is a legjelentősebbek közé tartozott. Az iskola fiatalabb tagjai újabban a matematika más területein értek el kiemelkedő eredményeket, amelyekben tetten érhető az információelméleti indíttatás.
 

Kulcsszavak: forráskódolás, entrópia, csatornakódolás, csatornakapacitás, folytonos idejű jelek, jel/zaj viszony
 

IRODALOM

Berrou, Claude – Glavieux, A. – Thitimajshina, P. (1993): Near Shannon Limit Error-correcting Coding and Decoding: Turbo-Codes. IEEE Transactions on Information Theory. 2, 8. 1064–1070. • WEBCÍM

Csiszár Imre – Körner János (1981, második kiadás 2011): Information Theory: Coding Theorems for Discrete Memoryless Systems. Akadémiai, Budapest • WEBCÍM

Csiszár Imre – Körner J. – Lovász L. – Marton K. – Simonyi G. (1990): Entropy Splitting for Antiblocking Corners and Perfect Graphs. 10, 1, 27–40. DOI: 10.1007/BF02122693 • WEBCÍM

Gács Péter – Körner János (1973): Common Information Is Far Less than Mutual Information. Problems of Control and Information Theory – PCIT. 2, 2, 149–162. • WEBCÍM

Kolmogorov, Andrej N. (1959): Az egységnyi időre eső entrópia az automorfizmusok metrikus invariánsa. [orosz nyelven] Dokladyij Akagyemii Nauk SZSZSZR, 124, 754–755.

Lovász László (1979): On the Shannon Capacity of a Graph. IEEE Transactions on Information Theory. 25, 1, 1–7. DOI:10.1109/TIT.1979.1055985

Ornstein, Donald (1970): Bernoulli Shifts with the Same Entropy Are Isomorphic. Advances in Mathematics. 4, 337–352. DOI:10.1016/0001-8708(70) 90029-0 • WEBCÍM

Rényi Alfréd (1961): On Measures of Entropy and Information. In: Neyman, Jerzy (ed.): Proceedings Fourth Berkeley Symposium on Mathematical Statistics and Probability, Vol. I. 547–561. • WEBCÍM

Shannon, Claude Elwood (1938): Symbolic Analysis of Relay and Switching Circuits. Transactions of the American Institute of Electrical Engineers. 57, • WEBCÍM

Shannon, Claude Elwood (1948): A Mathematical Theory of Communication. Bell System Technical Journal. 27, July, 379–423., October, 623–656. • WEBCÍM

Shannon, Claude Elwood (1949): Communication Theory of Secrecy Systems. Bell System Technical Journal. 28, 656–715. • WEBCÍM • WEBCÍM

Shannon, Claude Elwood (1961): Two-way Communication Channels. In: Neyman, Jerzy (ed.): Proceedings Fourth Berkeley Symposium on Mathematical Statistics and Probability, Vol. I. 611–644. • WEBCÍM

Szinaj, Jakov G. (1959): A dinamikai rendszerek entrópiájának fogalmáról. [orosz nyelven] Dokladyij Akagyemii Nauk SZSZSZR, 124, 768–771.
URL1:  
 

LÁBJEGYZET

1 A cikk szövege nagyrészt Krámli Andrásnak, az MTA doktorának Csiszár Imrével, az MTA rendes tagjával 2015. július 30-án folytatott beszélgetésén alapul. A beszélgetőtárs köszönettel tartozik Ratkó Ilonának, Korodi Albert lányának, az édesapja életútjáról és tudományos munkásságáról nyújtott értékes információkért, amelyeket terjedelmi okokból csak részben közölhetünk. <