information theory

• konunun babasi claude shannon ne yazik ki 2001de vefat ederek, sevenlerini uzmustur. bu zatin hakkinda kutsal bilgi kaynagimizda yeterince bilgi bulunmamasi sizi aldatmasin; populer kulturun posterlerini her kosebasina soktugu bilimadamlarindan biri olmasa da tartismasiz 20.yy'da en buyuk etkiyi yaratmis 10-15 bilimadamindan biridir.
  
  insanliga katkisi sadece information theory ile sinirli kalmamis, epey uretken bir muhendis ve hatta mucit olarak cesitli icatlara imza atmistir. ilgilenenler google'a sorarak, abartmadigimizi goreceklerdir.
  
  information theory denince iki satirda bir shannonun adinin gecmesinin nedeni sadece bu alani kurmus olmasindan degil, taa 1940larda yaptigi bircok calismanin bugun halen gecerliligini koruyor olmasidir. yani en basitinden bugun bir fiberoptik baglantinin yahut bir cep telefonu sebekesinin teorik olarak erisebilecegi maksimum hiz hesaplanirken hala shannonun formulleri kullanilir, channel entropy filan bulunur. (buradaki entropy kavrami bir baglantinin kapasitesi ile ilgilidir; termodinamikteki entropi ile yakindan iliskili olsa da ayni sey degildir.)
  
  butun bu macera, rahmetlinin the mathematical theory of communication isimli calismasiyla baslamis, bu makaleyle information theory dogmustur. hatta information, yani bilgi kavraminin tanimini bile yapmistir: "-1/olasilik" [edit: entropy=-expected[log p(x)] ^*]
  
  bu ne demek? eger birseyin olasilik derecesi, daha dogrusu tahmin edilebilirligi artiyorsa, az bilgi icerir. tahmin etmek daha zorsa, yani daha az deterministik ise daha cok bilgi tasir.
  
  information theory matematigin bir dalidir ve kendine sayisiz uygulama alani bulmustur, lakin aslen bu calismalar telekomunikasyon muhendisligi alanindaki sorunlari cozmek icin baslatilmis ve ilk uygulamalari burada basgostermistir. shannon da zaten bu anlamda bir iletisim muhendisidir.
  
  10 sene evveline kadar shannon'un, cesitli baglanti kapasiteleri icin koydugu teorik limitler epey uzagimizdayken, simdi yeterince parasi olan her sirket, bu teorik limitlere ulasabilen sistemler gelistirmektedirler. yani artik wireless networklerin hizini arttirmak icin yapilacak fazla bir teorik devrim kalmamistir. bundan sonra ekonomik etkilerle bugun epey pahali olan sistemler ucuzlayarak yayginlasir ve ortalama baglanti hizlarinin artmasina neden olur ve elbette birden fazla anten kullanilir (bkz: mimo) (ki bu da shannon'un limitinin ustune cikmak degildir, zira her anten ayri bir channel yaratir, maksat o channel icinde daha fazla bit tasiyabilmek, sinirina geldigimiz teknoloji budur)
  
  information theorynin en yakindan alakali oldugu konulardan biri de channel codingdir. gonderilen bitler iletisim esnasinda kaybolmasin diye, yani alicinin aldigi sinyaller orjinaline kiyasla epey bozulmussa dahi yine de o sinyallerin belirttigi bitler hatasiz olarak cozulebilsin diye kiclarini yirtan bir suru matematikci ve muhendisten olusan bir alt-bilim dalidir. 15 bit gonderecegim ama bunlarin en az bir hata icererek size varmasinin ihtimali ornegin yuzde 30dur. o zaman ben bu 15 bite 5 tane de kod biti eklersem ve degisik tekniklerle bu kod bitlerini, o 15 bitdeki hatalarin duzeltilmesini saglayabilecek sekilde kodlarsam, bu ihtimal yuzde 5e iner. 5 degil de 10 kod biti koyarsam, yuzde 1'e iner. 85 tane koyarsam da milyonda bire iner, lakin bu durumda da 15 bitlik bilgi iceren birseyi gondermek icin 100 bit gondermis olurum ki bu da potansiyel kapasitenin sadece yuzde 15 verimlilik ile kullanilmasi demek. yani tum muhendislik problemlerinde oldugu gibi burada da tek bir dogru cozum yoktur, her zaman duruma bagli olarak bir tradeoff sozkonusudur.
  
  bu ekstra bitlerin, nasil olup da bilgi iceren bitlerde meydana gelecek hatalari tespit etmek hatta duzeltmek icin kullanildigini merak edenler icin (bkz: hamming code)