positive definite

• cebirsel tanımının çok şık geometrik bir anlamı olan matris türü.
  
  yıllar önce optimizasyon dersi alırken dersin hocası dahil bir allahın kulu bana bunu söylemediği için teessüflerimi sunup buraya yazıyorum.
  
  positive definite matrisin cebirsel tanımı şudur.
  
  cebirsel tanım: sıfırdan farklı bütün x vektörleri için x^t * a * x > 0 eşitsizliğini sağlayan a matrisine positive definite matris denir (burada ^t transpose operatörünü göstermektedir).
  
  bu tanımı bu şekilde yazınca buna cebirsel tanım diyorum. işler bu tanımı geometrik bir kavram olan iç çarpım (inner product) ile bağlayınca güzelleşiyor. n boyutlu gerçel vektör uzayında x ve y diye iki vektörümüz olsun. bu vektörlerin elemanlarını x1,...,xn, ve y1,...,yn olarak adlandıralım. biliyoruz ki n boyutlu uzayda standart iç çarpım
  
  < x, y > = x1 * y1 + x2 * y2 +...+ xn * yn
  
  olarak tanımlanır. bu iç çarpımın vektörel ifadesi
  
  < x, y > = y^t * x = x^t * y
  
  olur. bir de şu bilgimiz var: yukarıdaki iç çarpım, vektörlerin büyüklükleri (norm) cinsinden aşağıdaki şekilde verilir.
  
  < x, y > = || x || * || y || * cos(theta)
  
  burada theta, x ve y vektörlerinin arasındaki açıdır. şimdi positive definite kavramının cebirsel tanımını aşağıdaki eşitliği kullanarak geometrik bir tanıma dönüştürebiliriz.
  
  x^t * a * x = < x, a * x >
  
  yani x^t * a * x karesel formu aslında x vektörüyle x vektörünün a ile transform edilmiş halinin iç çarpımıdır. dolayısıyla positive definite matrisin cebirsel tanımındaki eşitsizlik < x, a * x > > 0 eşitsizliğiyle aynıdır. peki bu ne demektir? bunu anlamak için
  
  < x, y > = || x || * || y || * cos(theta)
  
  ifadesine geri döneceğiz. bu ifadede sağ tarafın pozitif olması sizce ne anlama gelir?
  
  sağ taraf pozitif ise || x || ve || y || terimleri her zaman sıfırdan büyük veya eşit olduğu için cos(theta) pozitif olmak durumundadır (aslında || x || ve || y || terimleri de pozitif olmalıdır ama onlar bizi şu anda ilgilendirmiyor). peki cos(theta) pozitif ise theta açısı için ne diyebiliriz? tabii ki theta açısı şu eşitsizliği sağlamalıdır.
  
  -90 < theta < +90
  
  burada gördüğünüz gibi -90 ve +90'ı dahil etmedik çünkü o açıların kosinüsü sıfır. sonuç olarak eğer iki vektörün arasındaki iç çarpım sıfırdan büyükse o iki vektörün arasındaki açı(nın mutlak değeri) her zaman 90 dereceden küçüktür, yani o açı dar açıdır. bu durumda ilgilendiğimiz < x, a * x > > 0 eşitsizliği size ne der?
  
  x ve a * x vektörlerinin arasındaki açı dar açıdır. artık geometrik positive definite matris tanımımıza hazırız:
  
  geometrik tanım: sıfırdan farklı bütün x vektörlerini, x vektörüyle dar açı yapan sıfırdan farklı bir vektöre transform eden a matrisine positive definite matris denir.
  
  artık huşu içinde bu tanımı kafanızda canlandırabilir, öğrenmek isteyenlere tahtaya çizerek anlatabilirsiniz.
  
  burdan sonrası opsiyonel.
  
  peki bu tanımın optimizasyonla ilgisi nedir? burayı biraz kısa keseceğim. optimizasyonda birden fazla değişkene bağlı bir fonksiyonu minimize etmek isterseniz, uygulayabileceğiniz bir yöntem bir noktadan başlayıp hep gradyanın tam tersi yönünde gitmektir (bkz: steepest descent). ancak gradyanın tam tersi yönünde gitmeniz açgözlü (greedy) ve miyop bir strateji olup uzun vadede sizi çok yavaş ilerletebilir. bu durumda gradyanın tersine alternatif gidiş yönleri ararsınız. bu alternatif yönleri de fonksiyonun değerini her zaman düşürecek şekilde seçmek isteyeceğinizden bu yönlerin her zaman negatif gradyanla dar açı yapmasını istersiniz (bkz: yönlü türev). işte burada positive definite matrisler işin içine girer. bilirsiniz ki negatif gradyanınızı positive definite bir matrisle çarparsanız çıkacak yeni yön her zaman negatif gradyanla dar açı yapacaktır. dolayısıyla gradyanınızı g ile gösterirsek a positive definite bir matrisken -a * g yönünde giderseniz fonksiyonunuzun değerini hala düşürebilirsiniz. buradaki a matrisini değiştirerek değişik pek çok optimizasyon algoritması türetebilirsiniz. bu tür algoritmaların en ünlüsü de a matrisinin hessian matrisinin tersi olarak seçildiği newton yöntemidir.