information theory

• konunun babasi claude shannon ne yazik ki 2001de vefat ederek, sevenlerini uzmustur. bu zatin hakkinda kutsal bilgi kaynagimizda yeterince bilgi bulunmamasi sizi aldatmasin; populer kulturun posterlerini her kosebasina soktugu bilimadamlarindan biri olmasa da tartismasiz 20.yy'da en buyuk etkiyi yaratmis 10-15 bilimadamindan biridir.
  
  insanliga katkisi sadece information theory ile sinirli kalmamis, epey uretken bir muhendis ve hatta mucit olarak cesitli icatlara imza atmistir. ilgilenenler google'a sorarak, abartmadigimizi goreceklerdir.
  
  information theory denince iki satirda bir shannonun adinin gecmesinin nedeni sadece bu alani kurmus olmasindan degil, taa 1940larda yaptigi bircok calismanin bugun halen gecerliligini koruyor olmasidir. yani en basitinden bugun bir fiberoptik baglantinin yahut bir cep telefonu sebekesinin teorik olarak erisebilecegi maksimum hiz hesaplanirken hala shannonun formulleri kullanilir, channel entropy filan bulunur. (buradaki entropy kavrami bir baglantinin kapasitesi ile ilgilidir; termodinamikteki entropi ile yakindan iliskili olsa da ayni sey degildir.)
  
  butun bu macera, rahmetlinin the mathematical theory of communication isimli calismasiyla baslamis, bu makaleyle information theory dogmustur. hatta information, yani bilgi kavraminin tanimini bile yapmistir: "-1/olasilik" [edit: entropy=-expected[log p(x)] ^*]
  
  bu ne demek? eger birseyin olasilik derecesi, daha dogrusu tahmin edilebilirligi artiyorsa, az bilgi icerir. tahmin etmek daha zorsa, yani daha az deterministik ise daha cok bilgi tasir.
  
  information theory matematigin bir dalidir ve kendine sayisiz uygulama alani bulmustur, lakin aslen bu calismalar telekomunikasyon muhendisligi alanindaki sorunlari cozmek icin baslatilmis ve ilk uygulamalari burada basgostermistir. shannon da zaten bu anlamda bir iletisim muhendisidir.
  
  10 sene evveline kadar shannon'un, cesitli baglanti kapasiteleri icin koydugu teorik limitler epey uzagimizdayken, simdi yeterince parasi olan her sirket, bu teorik limitlere ulasabilen sistemler gelistirmektedirler. yani artik wireless networklerin hizini arttirmak icin yapilacak fazla bir teorik devrim kalmamistir. bundan sonra ekonomik etkilerle bugun epey pahali olan sistemler ucuzlayarak yayginlasir ve ortalama baglanti hizlarinin artmasina neden olur ve elbette birden fazla anten kullanilir (bkz: mimo) (ki bu da shannon'un limitinin ustune cikmak degildir, zira her anten ayri bir channel yaratir, maksat o channel icinde daha fazla bit tasiyabilmek, sinirina geldigimiz teknoloji budur)
  
  information theorynin en yakindan alakali oldugu konulardan biri de channel codingdir. gonderilen bitler iletisim esnasinda kaybolmasin diye, yani alicinin aldigi sinyaller orjinaline kiyasla epey bozulmussa dahi yine de o sinyallerin belirttigi bitler hatasiz olarak cozulebilsin diye kiclarini yirtan bir suru matematikci ve muhendisten olusan bir alt-bilim dalidir. 15 bit gonderecegim ama bunlarin en az bir hata icererek size varmasinin ihtimali ornegin yuzde 30dur. o zaman ben bu 15 bite 5 tane de kod biti eklersem ve degisik tekniklerle bu kod bitlerini, o 15 bitdeki hatalarin duzeltilmesini saglayabilecek sekilde kodlarsam, bu ihtimal yuzde 5e iner. 5 degil de 10 kod biti koyarsam, yuzde 1'e iner. 85 tane koyarsam da milyonda bire iner, lakin bu durumda da 15 bitlik bilgi iceren birseyi gondermek icin 100 bit gondermis olurum ki bu da potansiyel kapasitenin sadece yuzde 15 verimlilik ile kullanilmasi demek. yani tum muhendislik problemlerinde oldugu gibi burada da tek bir dogru cozum yoktur, her zaman duruma bagli olarak bir tradeoff sozkonusudur.
  
  bu ekstra bitlerin, nasil olup da bilgi iceren bitlerde meydana gelecek hatalari tespit etmek hatta duzeltmek icin kullanildigini merak edenler icin (bkz: hamming code)
• klasik information theory, tek bir kaynak, alici ciftinin arasindaki sayisal iletisimin (digital communication) matematiksel temelini olusturan teorilerin butunudur. kaynaktan cikan rastgele surecin (random process) ikilik sistemde (binary) tasvirinden baslayip, bu basamaklarin sayisal kanal (digital channel) uzerinde tasinmasi ve surecin alicida tekrar olusturulmasina kadar giden tum basamaklari kapsar.
  
  bu teoriyi mukemmel yapan sey, cok kompleks (gorunen) sorulara cok basit cevaplar alinabilmesidir. ornegin sonlu eleman sayisina sahip bir rastgele surec kaynaginin olusturdugu eleman dizisinin, daha sonra dekoderde hatasiz replike edilebilecek sekilde tasvir edilmesi icin gereken eleman basina dusen bit (binary digit) sayisi nedir diye sorulmus olsun. ilk bakista son derece kompleks gibi gorunen bu problemin genel cevabi cok basittir: kaynagin entropisi, yani, h(x)=-e[log p(x)]. ote yandan bu basit cozumler son derece derin sonuclara yol acar. ornegin herhangi bir kaynagin bir baglilik kriteri (fidelity criterion) altinda tasvirinin mumkun oldugu, yani aslinda "her iletisimin sayisal oldugu" gibi.
  
  gelgelelim, bu tarzda cikan sonuclar zamanda bu alandaki insanlari binevi simartmistir. artik her probleme -ne kadar karmasik, hatta komplike bile olsa- cok basit cozumler arar hale getirmistir. fakat olayi (geri beslemesiz) tek kaynak-alici ciftinden oteye tasimaya kalktiginizda bu kolay cozumler -en azindan bugun kullanilan tekniklerle- mumkun olamamaktadir. bu durum, alanin mucitleri dahil hemen hemen butun calisanlarini hayal kirikligina ugratmis, pekcogunun 70'lerin sonunda konudan uzaklasmasina yol acmistir. gerci cogu daha sonra sayisal bilgisayarlarin kapasitesinin cok artip, bu konseptlerin cogunun pratik bir hal almasindan sonra geri donmustur.
  
  bu tek kaynak-alici ciftinin disinda kalan problemlerin butunu network information theorynin ilgisi dahiline girer. belirttigimiz gibi bu alanda kullanilan teknikler son derece kucuk bir kume olusturur. ispatlarin hemen hepsi tipikalite (typicality), rastgele kodlama (random coding) ve binning (turkcesini bilmiyom, kicmdan uydurmaktan da biktim) yontemlerini kullanir. bunlaradan en meshuru 1968 yilinda robert g. gallager tarafindan gelistirilen rastgele kodlamadir.
  
  network information theory dahilindeki en populer problemler arasinda multiple access channels, broadcast channels, channels with state, channels with feedback ve multiple description coding bulunur.
• bell labs'te çalışan müendis claude elwood shannon'ın, malum 1940'lardaki savaş atmosferi gereği "insanlar ne kadar süre iletişim kurabilirler ve ben bu iletişimi nasıl daha güvenli hale getiririm" düşüncesinden yola çıkıp bilgi tanımlamasını daha derinden irdeleyerek 1948'de yayınladığı makaleyle telekomünikasyon anlayışını tamamen değiştiren teorisidir.
  
  öncelikle bilgi kavramını biraz değerlendirelim. aristoteles gibi bazı filozofların, "bir olay bizi ne kadar şaşırtıyorsa o kadar bilgi taşıyordur" savından yola çıkarsak, "bilgi içeriğinin o olayın olma olasılığı ile bağlantılı olduğu" fikri ta antik yunan'a kadar dayanmaktadır. mesela bir anda asgari ücret 10.000 tl olsa ve tüm vergiler kaldırılsa "neler oluyor, hayırdır?" deriz. ama rutine bindiği ve ekstra bilgi gerektirmediği için "doğal gaza zam geldi" haberine hiç şaşırmayız. bu bağlamda "daha az olasılıklı olaylar daha fazla bilgi taşır" diyebiliriz.
  
  bilginin objektifliği ve ölçümünü ele alır ve bilgiye, birbirini takip eden ama birbirinden bağımsız iki olay olarak bakarsak, örneğin dışarı çıkma olasılığım %50, yağmurun yağma olasılığı %40 olsun. ben dışarıdayken yağmur yağması için iki olayın da olması gerekir ve bunun olasılığı ikisinin çarpımları yani %20'dir. peki bu bağımsız iki olayın içerdiği bilgi nedir? onun için de john napier'e şükranlarımızı sunarak logaritmaya başvuruyoruz. uzun çoğaltmaları basitleştiren bu fonksiyona göre bir olayın bilgi içeriği, olayın oluşumunun ters olasılığının logaritması(l=log1/p)dır. demek ki bilgi hakkında konuşabilmek için ilk şart bir olayın varlığı, ikinci şart ise olayın olma olasılığını hesaplayabilmemizdir.
  
  bilgi kavramının modern bilgi teorisine dönüşmesi aşamasında shannon iki kullanıcı tasarladı ve bunlar arasındaki bilgi alışverişini analiz etmek için objektif olmak durumunda olmanın da farkındaydı. ilgilendiği tek şey bilgi miktarıydı ve bunu temsil etmek için bir simgeye ihtiyacı vardı. bu konuda da george boole'un sıfır ve birlerden oluşan bitlerine başvurdu ve "daha olası mesajları daha kısa, daha az olası mesajların da daha uzun serilerle kodlanması" çıkarımını yapıp temel ilke olarak benimsedi. örneğin "seni seviyorum" mesajının kodu 1 iken, "abi nolur bu akşam boğaz köprüsünde bungee jumping yapalım" mesajının kodu 01101001 idi. yani sıklıkla iletiştiğimiz mesajlar daha kısa olmalıydı yoksa kanal kapasitesi israf edilmiş olurdu. aslında diller de böyledir. mesela ingilizcede en çok kullanılan the, of, to gibi kelimeler kısadır çünkü oluşma olasılıkları yüksektir.
  
  sonuç olarak bu teori, mesajın uzunluğunu olayın oluşma olasılığının ters logaritmasına oranlayarak, error coding ve source coding gibi yöntemlerle kanal kapasitesini maksimize ve optimize eden kodlamanın temelidir ve shannon entropy kavramını doğurmaktadır.
• sadece source coding'den ibaret olmayip channel coding uzerinde de soyleyecekleri olan bir daldir. varolan bir bilginin en az kac bitle ifade edilebilecegi^* ve bir iletisim kanalindan en fazla ne kadar hizli gonderilebileceginin^* limitlerini ve bu limitlere yaklasabilecek yontemleri arastirir.
  
  eger bugun internet baglantilari bu kadar hizliysa, bu kadar yuksek hizlarin gerceklesebilecegini cok onceden haber veren, bu konuda^* calisan bilim adamlaridir.
• telekomunikasyon muhendisligi lisans\yüksek lisans dersidir ayrıca. 0 ve 1 yazmaktan, toplamaktan gözüm bozulmuştur, o simetrik ikili kanalın içine sıçam ben dedirtmiştir. (bkz: erdal panayırcı)
• (bkz: erdal arikan)
• matematiksel bir model olmasına rağmen biyolojik sistemlere de uyarlanmış ve nörobiyolojide de faydalanılmıştır. yani beynimizin bilgiyi algılama ve işleme mekanizmasını soruştururken başvurulan bir teoridir.
  
  bu teori bize enformasyonun büyüklüğünü 2 tabanlı logaritmanın negatif değeri olarak hesaplama imkanı sunar. bu ne demek? yani bir olasılık uzayı olsun burda gerçekleşmesi mümkün olan 16 durum olsun diyelim ama yalnızca biri gerçekleşecek olsun. biz bu 16 durumdan hangisinin gerçekleşeceğini öğrendiğimizde 1/16 lık bir olasılığı öğrenmiş oluruz. bunun 2 tabanlı negatif logaritması 4 e eşittir.
  
  örnek verelim. arkadaşımızın elinde 1de 16ya kadar numaralandırılmış 16 tane kağıt olsun ve arkadaşımız bir tanesini seçip cebine koysun. cebinde 16sindan 1i olabilir. hangisi bilmiyoruz. cebinden çıkarıp bize gösterdiğinde bilginin entropisi azalmış olur ve biz 4 bitlik bir enformasyon elde etmiş oluruz.
  
  not: devamı ve nörobiyoloji ile ilgili kısmı gelecek.
• (bkz: quantum information theory) ya da (bkz: kuantum bilgi kuramı)
• sosyal bilimlerle pozitif bilimlerin tam anlamıyla kaynaşamasa da entegre olmaya başladığı şu çağda (bkz: integrated causal model) en önemli teorilerden biridir. alanında açtığı çığırın yanında (basitçe bilişim teknolojisindeki her şeyde aslan payı bu kuramındır) bu yönüyle her geçen gün daha da önemli hale gelecektir.
  
  bu vesileyle shannon'u analım.
• csda bilginin sayısal ortamda kodlanması, sıkıştırılması, ve transferi sırasında geçirdiği aşamaları içerik kaygısı güderek inceleyen daldır. popüler bir bakış açısıyla yaklaşırsak, rar, zip gibi birşey varsa masaüstünde, bahse konu dalın alt dalı olan coding ve compression konu başlıklarının teorik incelemesi sonucu ortaya çıkmıştır. elektronik haberleşme^* de bu teorinin marifeti sayılmaktadır.
  (bkz: claude elwood shannon)
  (bkz: information content)