information theory

• klasik information theory, tek bir kaynak, alici ciftinin arasindaki sayisal iletisimin (digital communication) matematiksel temelini olusturan teorilerin butunudur. kaynaktan cikan rastgele surecin (random process) ikilik sistemde (binary) tasvirinden baslayip, bu basamaklarin sayisal kanal (digital channel) uzerinde tasinmasi ve surecin alicida tekrar olusturulmasina kadar giden tum basamaklari kapsar.
  
  bu teoriyi mukemmel yapan sey, cok kompleks (gorunen) sorulara cok basit cevaplar alinabilmesidir. ornegin sonlu eleman sayisina sahip bir rastgele surec kaynaginin olusturdugu eleman dizisinin, daha sonra dekoderde hatasiz replike edilebilecek sekilde tasvir edilmesi icin gereken eleman basina dusen bit (binary digit) sayisi nedir diye sorulmus olsun. ilk bakista son derece kompleks gibi gorunen bu problemin genel cevabi cok basittir: kaynagin entropisi, yani, h(x)=-e[log p(x)]. ote yandan bu basit cozumler son derece derin sonuclara yol acar. ornegin herhangi bir kaynagin bir baglilik kriteri (fidelity criterion) altinda tasvirinin mumkun oldugu, yani aslinda "her iletisimin sayisal oldugu" gibi.
  
  gelgelelim, bu tarzda cikan sonuclar zamanda bu alandaki insanlari binevi simartmistir. artik her probleme -ne kadar karmasik, hatta komplike bile olsa- cok basit cozumler arar hale getirmistir. fakat olayi (geri beslemesiz) tek kaynak-alici ciftinden oteye tasimaya kalktiginizda bu kolay cozumler -en azindan bugun kullanilan tekniklerle- mumkun olamamaktadir. bu durum, alanin mucitleri dahil hemen hemen butun calisanlarini hayal kirikligina ugratmis, pekcogunun 70'lerin sonunda konudan uzaklasmasina yol acmistir. gerci cogu daha sonra sayisal bilgisayarlarin kapasitesinin cok artip, bu konseptlerin cogunun pratik bir hal almasindan sonra geri donmustur.
  
  bu tek kaynak-alici ciftinin disinda kalan problemlerin butunu network information theorynin ilgisi dahiline girer. belirttigimiz gibi bu alanda kullanilan teknikler son derece kucuk bir kume olusturur. ispatlarin hemen hepsi tipikalite (typicality), rastgele kodlama (random coding) ve binning (turkcesini bilmiyom, kicmdan uydurmaktan da biktim) yontemlerini kullanir. bunlaradan en meshuru 1968 yilinda robert g. gallager tarafindan gelistirilen rastgele kodlamadir.
  
  network information theory dahilindeki en populer problemler arasinda multiple access channels, broadcast channels, channels with state, channels with feedback ve multiple description coding bulunur.