information theory ^*

• csda bilginin sayısal ortamda kodlanması, sıkıştırılması, ve transferi sırasında geçirdiği aşamaları içerik kaygısı güderek inceleyen daldır. popüler bir bakış açısıyla yaklaşırsak, rar, zip gibi birşey varsa masaüstünde, bahse konu dalın alt dalı olan coding ve compression konu başlıklarının teorik incelemesi sonucu ortaya çıkmıştır. elektronik haberleşme^* de bu teorinin marifeti sayılmaktadır.
  (bkz: claude elwood shannon)
  (bkz: information content)
• sadece source coding'den ibaret olmayip channel coding uzerinde de soyleyecekleri olan bir daldir. varolan bir bilginin en az kac bitle ifade edilebilecegi^* ve bir iletisim kanalindan en fazla ne kadar hizli gonderilebileceginin^* limitlerini ve bu limitlere yaklasabilecek yontemleri arastirir.
  
  eger bugun internet baglantilari bu kadar hizliysa, bu kadar yuksek hizlarin gerceklesebilecegini cok onceden haber veren, bu konuda^* calisan bilim adamlaridir.
• (bkz: mutual information)
  (bkz: information potential)
• konunun babasi claude shannon ne yazik ki 2001de vefat ederek, sevenlerini uzmustur. bu zatin hakkinda kutsal bilgi kaynagimizda yeterince bilgi bulunmamasi sizi aldatmasin; populer kulturun posterlerini her kosebasina soktugu bilimadamlarindan biri olmasa da tartismasiz 20.yy'da en buyuk etkiyi yaratmis 10-15 bilimadamindan biridir.
  
  insanliga katkisi sadece information theory ile sinirli kalmamis, epey uretken bir muhendis ve hatta mucit olarak cesitli icatlara imza atmistir. ilgilenenler google'a sorarak, abartmadigimizi goreceklerdir.
  
  information theory denince iki satirda bir shannonun adinin gecmesinin nedeni sadece bu alani kurmus olmasindan degil, taa 1940larda yaptigi bircok calismanin bugun halen gecerliligini koruyor olmasidir. yani en basitinden bugun bir fiberoptik baglantinin yahut bir cep telefonu sebekesinin teorik olarak erisebilecegi maksimum hiz hesaplanirken hala shannonun formulleri kullanilir, channel entropy filan bulunur. (buradaki entropy kavrami bir baglantinin kapasitesi ile ilgilidir; termodinamikteki entropi ile yakindan iliskili olsa da ayni sey degildir.)
  
  butun bu macera, rahmetlinin the mathematical theory of communication isimli calismasiyla baslamis, bu makaleyle information theory dogmustur. hatta information, yani bilgi kavraminin tanimini bile yapmistir: "-1/olasilik" [edit: entropy=-expected[log p(x)] ^*]
  
  bu ne demek? eger birseyin olasilik derecesi, daha dogrusu tahmin edilebilirligi artiyorsa, az bilgi icerir. tahmin etmek daha zorsa, yani daha az deterministik ise daha cok bilgi tasir.
  
  information theory matematigin bir dalidir ve kendine sayisiz uygulama alani bulmustur, lakin aslen bu calismalar telekomunikasyon muhendisligi alanindaki sorunlari cozmek icin baslatilmis ve ilk uygulamalari burada basgostermistir. shannon da zaten bu anlamda bir iletisim muhendisidir.
  
  10 sene evveline kadar shannon'un, cesitli baglanti kapasiteleri icin koydugu teorik limitler epey uzagimizdayken, simdi yeterince parasi olan her sirket, bu teorik limitlere ulasabilen sistemler gelistirmektedirler. yani artik wireless networklerin hizini arttirmak icin yapilacak fazla bir teorik devrim kalmamistir. bundan sonra ekonomik etkilerle bugun epey pahali olan sistemler ucuzlayarak yayginlasir ve ortalama baglanti hizlarinin artmasina neden olur ve elbette birden fazla anten kullanilir (bkz: mimo) (ki bu da shannon'un limitinin ustune cikmak degildir, zira her anten ayri bir channel yaratir, maksat o channel icinde daha fazla bit tasiyabilmek, sinirina geldigimiz teknoloji budur)
  
  information theorynin en yakindan alakali oldugu konulardan biri de channel codingdir. gonderilen bitler iletisim esnasinda kaybolmasin diye, yani alicinin aldigi sinyaller orjinaline kiyasla epey bozulmussa dahi yine de o sinyallerin belirttigi bitler hatasiz olarak cozulebilsin diye kiclarini yirtan bir suru matematikci ve muhendisten olusan bir alt-bilim dalidir. 15 bit gonderecegim ama bunlarin en az bir hata icererek size varmasinin ihtimali ornegin yuzde 30dur. o zaman ben bu 15 bite 5 tane de kod biti eklersem ve degisik tekniklerle bu kod bitlerini, o 15 bitdeki hatalarin duzeltilmesini saglayabilecek sekilde kodlarsam, bu ihtimal yuzde 5e iner. 5 degil de 10 kod biti koyarsam, yuzde 1'e iner. 85 tane koyarsam da milyonda bire iner, lakin bu durumda da 15 bitlik bilgi iceren birseyi gondermek icin 100 bit gondermis olurum ki bu da potansiyel kapasitenin sadece yuzde 15 verimlilik ile kullanilmasi demek. yani tum muhendislik problemlerinde oldugu gibi burada da tek bir dogru cozum yoktur, her zaman duruma bagli olarak bir tradeoff sozkonusudur.
  
  bu ekstra bitlerin, nasil olup da bilgi iceren bitlerde meydana gelecek hatalari tespit etmek hatta duzeltmek icin kullanildigini merak edenler icin (bkz: hamming code)
• klasik information theory, tek bir kaynak, alici ciftinin arasindaki sayisal iletisimin (digital communication) matematiksel temelini olusturan teorilerin butunudur. kaynaktan cikan rastgele surecin (random process) ikilik sistemde (binary) tasvirinden baslayip, bu basamaklarin sayisal kanal (digital channel) uzerinde tasinmasi ve surecin alicida tekrar olusturulmasina kadar giden tum basamaklari kapsar.
  
  bu teoriyi mukemmel yapan sey, cok kompleks (gorunen) sorulara cok basit cevaplar alinabilmesidir. ornegin sonlu eleman sayisina sahip bir rastgele surec kaynaginin olusturdugu eleman dizisinin, daha sonra dekoderde hatasiz replike edilebilecek sekilde tasvir edilmesi icin gereken eleman basina dusen bit (binary digit) sayisi nedir diye sorulmus olsun. ilk bakista son derece kompleks gibi gorunen bu problemin genel cevabi cok basittir: kaynagin entropisi, yani, h(x)=-e[log p(x)]. ote yandan bu basit cozumler son derece derin sonuclara yol acar. ornegin herhangi bir kaynagin bir baglilik kriteri (fidelity criterion) altinda tasvirinin mumkun oldugu, yani aslinda "her iletisimin sayisal oldugu" gibi.
  
  gelgelelim, bu tarzda cikan sonuclar zamanda bu alandaki insanlari binevi simartmistir. artik her probleme -ne kadar karmasik, hatta komplike bile olsa- cok basit cozumler arar hale getirmistir. fakat olayi (geri beslemesiz) tek kaynak-alici ciftinden oteye tasimaya kalktiginizda bu kolay cozumler -en azindan bugun kullanilan tekniklerle- mumkun olamamaktadir. bu durum, alanin mucitleri dahil hemen hemen butun calisanlarini hayal kirikligina ugratmis, pekcogunun 70'lerin sonunda konudan uzaklasmasina yol acmistir. gerci cogu daha sonra sayisal bilgisayarlarin kapasitesinin cok artip, bu konseptlerin cogunun pratik bir hal almasindan sonra geri donmustur.
  
  bu tek kaynak-alici ciftinin disinda kalan problemlerin butunu network information theorynin ilgisi dahiline girer. belirttigimiz gibi bu alanda kullanilan teknikler son derece kucuk bir kume olusturur. ispatlarin hemen hepsi tipikalite (typicality), rastgele kodlama (random coding) ve binning (turkcesini bilmiyom, kicmdan uydurmaktan da biktim) yontemlerini kullanir. bunlaradan en meshuru 1968 yilinda robert g. gallager tarafindan gelistirilen rastgele kodlamadir.
  
  network information theory dahilindeki en populer problemler arasinda multiple access channels, broadcast channels, channels with state, channels with feedback ve multiple description coding bulunur.
• telekomunikasyon muhendisligi lisans\yüksek lisans dersidir ayrıca. 0 ve 1 yazmaktan, toplamaktan gözüm bozulmuştur, o simetrik ikili kanalın içine sıçam ben dedirtmiştir. (bkz: erdal panayırcı)
• (bkz: shannon entropy)
• (bkz: erdal arikan)
• temelleri claude elwood shannon tarafindan 1940'li yillarda atilmis bir bilim dalidir. shannon ilk basta entropy yi tanimlamis ve de guvenli haberlesmenin saglanmasi icin ayni bilgiyi tekrarlayarak yollamanin (bkz: repetition coding) her zaman en etkili cozum olmadigini, haberlesmeyi bir takim matematiksel modellere oturtarak (bkz: channel coding) teorik olarak birim zamanda cok daha fazla bilginin yollanabilecegini gostermistir.
• iletişim fakültelerinde giriş dersi olarak okutulan konulardan biri.
  matematiksel iletişim modeli olarak da bilinir. tabi sayılsal dan çok sözel kısmı ön plandadır burda.
  (bkz: http://www.onurcoban.com/…hannon-weaver-modeli.html)